PySpark DataFrame保存到S3后CSV出现乱码且文件仅1B如何解决

1. 语法错误：options方法调用不规范 #

你第一段代码中的df.write.options("header","true")不符合PySpark API要求，options()方法接收的是关键字参数，或字典解包参数，错误的传参方式会导致写入配置不生效，是生成1B空文件的核心原因之一。
正确写法参考：

# 方式1：用option逐个配置参数
df.write.option("header", True)
# 方式2：用options批量传字典参数
df.write.options(**{"header": "true", "encoding": "UTF-8"})

2. 路径逻辑理解错误 #

Spark写入外部存储时，指定的路径是输出目录而非单个文件。你第二段代码中指定option("path", "s3://example/test.csv")最终会生成名为test.csv的目录，实际数据文件存放在该目录下，不会直接生成名为test.csv的单个文件。你看到的1B文件是S3的目录占位文件，不是实际的CSV数据文件。

3. S3协议不匹配 #

你两次代码分别用了s3a://和s3://两种协议，不同Spark运行环境对应的S3文件系统实现不同：

• s3a://是Hadoop社区开源S3客户端实现，依赖hadoop-aws和对应版本的aws-java-sdk依赖包
• s3://是EMR等云厂商定制Spark环境的内置S3协议实现
  如果协议和运行环境不匹配，会直接导致写入异常、空文件或乱码，建议统一使用和集群适配的协议。

4. 编码和字段类型问题 #

写入CSV时如果未显式指定字符集，会使用Spark默认系统字符集，数据包含中文等非ASCII字符时就会出现乱码，需要显式指定编码。另外如果DataFrame中存在BinaryType等二进制类型字段，直接写入CSV也会出现序列化乱码，需要提前转为字符串类型。
编码配置参考：

df.write.option("encoding", "UTF-8")

正确可运行参考代码 #

# 先确认DataFrame本身非空，排除上游数据问题
print(f"DataFrame数据行数：{df.count()}")

df.coalesce(1) \
  .write \
  .format("csv") \
  .option("header", True) \
  .option("encoding", "UTF-8") \
  .mode("overwrite") \
  .save("s3a://example/csv_output/")

写入完成后，进入s3a://example/csv_output/目录，找到part-00000-xxx.csv格式的文件就是最终的CSV数据文件。

乱码样例参考 #

内容的提问来源于stack exchange，提问作者Ram Prasad