使用s3fs写入CSV到S3时出现隔行空行格式问题如何解决

隔行空行由换行符重复转义导致：

• s3fs以文本模式（'w'）打开文件对象时，默认开启换行符自动转换逻辑，写入过程会对换行符做平台适配转码
• pandas的to_csv底层基于Python标准csv库实现，默认会为每行末尾追加\n作为行终止符
  两层逻辑叠加后，单个换行符会被转义为两个连续换行，最终生成的文件就会出现隔行空行。你之前用boto3的put方法直接上传内存中预生成的CSV字节流，没有经过s3fs文本层的二次换行处理，因此不会触发该问题。

标准方案（推荐） #

打开s3文件对象时传入newline=''参数，关闭s3fs的自动换行转换，这也是Python官方csv模块文档明确要求的文件打开方式，兼容所有CSV读写场景：

s3fs = s3fs.S3FileSystem(anon=False)
with s3fs.open("bucket-name/csv-name.csv", "w", newline="") as f:
    my_df.to_csv(f)

如果不需要将DataFrame的索引写入CSV，可以在to_csv中追加index=False参数，避免生成多余的无名列：

my_df.to_csv(f, index=False)

简化方案 #

也可以直接在to_csv调用时显式指定行终止符，跳过自动转义逻辑，效果和标准方案一致：

s3fs = s3fs.S3FileSystem(anon=False)
with s3fs.open("bucket-name/csv-name.csv", "w") as f:
    my_df.to_csv(f, line_terminator="\n")

内容的提问来源于stack exchange，提问作者ire