Pandas to_csv()写入Windows网络驱动器速度慢的优化方案咨询

核心原因 #

Pandas的to_csv方法默认采用小批次逐段写入文件句柄的逻辑，而网络驱动器的每次写入操作都需要额外的网络通信开销（握手、写入确认等），小批量高频写入会极大放大延迟损耗。你采用的StringIO方案本质是先在内存中生成完整的CSV文件内容，仅发起一次批量写入操作，直接规避了多次网络I/O的额外开销，因此速度提升明显。

to_csv是否有参数可实现同等效果？ #

目前Pandasto_csv没有内置的单参数开关可以直接等价于StringIO预写方案，但可以通过以下两种方式实现接近的性能：

• 方式1：传入大缓冲区的文件对象
  手动打开文件时指定足够大的缓冲大小，让Python自动攒够数据再发起网络写入，示例：

  # 配置16MB缓冲区，可根据实际数据大小调整
  with open("/network/drive/test.csv", "w", buffering=16*1024*1024) as f:
      df.to_csv(f, index=False)
  

• 方式2：大文件分块写入（适合内存放不下全量CSV的场景）
  调大写入块大小，平衡内存占用和写入次数，示例：

  CHUNK_SIZE = 100000 # 每10万行写一次，可自行调整
  with open("/network/drive/test.csv", "w") as f:
      # 写入表头
      df[:0].to_csv(f, index=False)
      for chunk_start in range(0, len(df), CHUNK_SIZE):
          df.iloc[chunk_start:chunk_start+CHUNK_SIZE].to_csv(f, header=False, index=False)
  

补充说明 #

R语言data.table包的fwrite函数默认就是先在内存中生成整块写入内容再一次性写入文件，天生规避了多次网络I/O的延迟放大问题，因此本地和网络盘的写入速度差仅为网络带宽本身的差距。
你当前使用的StringIO方案是兼容性最好、性能最稳定的选择，如果数据量没有超过可用内存，完全可以继续沿用。

内容的提问来源于stack exchange，提问作者Abiel