Spark写入S3仅生成表头无数据问题求助

你遇到的这个问题确实很让人困惑——明明count()显示有50行数据，写入后却只有表头。我来帮你梳理几个可能的原因和对应的解决办法：

1. 先排除写入参数与文件覆盖的干扰 #

首先，建议你在写入时明确添加overwrite模式，同时强制生成单个输出文件，避免多分区文件中某个分区为空的情况，也确保你看到的是最新的写入结果：

df.write.mode("overwrite")\
        .option("numPartitions", 1)\
        .csv(path="s3a://bucket/folder", header="true")

默认情况下Spark会根据分区数生成多个文件，如果之前的空文件没有被覆盖，可能会让你误以为这次写入也没有数据。

2. 确认DataFrame里确实有有效数据 #

不要只依赖count()结果，在写入前用show()或take()查看实际数据，确保不是统计了行数但所有字段都是null的情况：

# 查看前10行数据
df.show(10)
# 确认schema是否和预期一致
df.printSchema()

如果show()能正常显示数据，那问题就出在写入环节；如果show()也没有数据，那就要回头排查CSV读取的逻辑了。

3. 检查S3a配置与权限细节 #

虽然表头能成功写入，但还是要确认Spark的S3a配置是否完整：

• 如果是用密钥访问，要确保fs.s3a.access.key和fs.s3a.secret.key已经正确配置在Spark的spark-defaults.conf里，或者在代码中通过.config()添加；
• 如果是使用IAM角色（比如EMR、EC2实例角色），要确认角色拥有S3的写入权限；
• 另外，避免使用S3的智能分层或归档存储类，这类存储可能会有读写延迟，导致数据显示异常。

4. 查看Spark作业的执行日志 #

你已经开启了Spark UI，打开UI查看写入阶段的任务执行情况：

• 确认写入的stage是否全部成功完成；
• 查看executor的日志，有时候写入时的IO异常不会在driver端抛出，但会在executor日志里留下记录（比如S3连接超时、权限不足等）。

5. 排查CSV读取的schema匹配问题 #

你自定义了schema，虽然count显示有50行，但如果CSV中的时间格式和你指定的timestampFormat="MM/dd/yyyy HH:mm:ss"不匹配，可能会导致时间字段为null，但不会丢失整行数据。不过可以尝试临时去掉自定义schema，用inferSchema=true读取，看看写入是否有数据，以此确认是否是schema的问题：

df = spark.read.load("s3a://bucket/file.csv",
                     format="csv",
                     sep=",",
                     inferSchema="true",
                     timestampFormat="MM/dd/yyyy HH:mm:ss",
                     header="true")

6. 尝试更换写入格式验证 #

如果上面的方法都没解决，可以先尝试写入Parquet格式，看看是否有数据：

df.write.mode("overwrite").parquet("s3a://bucket/folder-parquet")

如果Parquet能正常写入数据，那说明是CSV写入的参数配置问题，比如分隔符、换行符和源文件不匹配，或者CSV的特殊字符处理有问题。

另外，你用的是yarn-client模式，driver运行在本地，executor在集群，有时候本地的Spark/Hadoop版本和集群不一致，也会导致S3写入异常。可以尝试换成yarn-cluster模式运行作业，看看是否能解决问题。

内容的提问来源于stack exchange，提问作者simplycoding