PySpark DataFrame加尾记录后输出单CSV：coalesce(1)是否可行？

你的思路是正确的，使用coalesce(1)可以将合并后的DataFrame写入单个CSV文件，且能保证尾记录位于最后，但有几个关键问题需要注意：

1. 记录顺序的可靠性 #

union操作会严格保留两个DataFrame的顺序：原DataFrame的所有记录在前，尾记录DataFrame的记录在后。coalesce(1)只是将所有分区的数据合并到一个分区，不会打乱分区内的记录顺序，因此最终文件里尾记录会确实排在最后，这点无需担心。

2. 性能风险 #

coalesce(1)会把所有数据集中到单个Executor节点处理，适合小数据量场景（比如测试、小文件输出）。如果原DataFrame数据量很大，这种操作会导致单个节点内存压力陡增，可能引发OOM（内存溢出），或者写入速度极慢。生产环境大数据量场景不建议使用。

3. 表头与列匹配问题 #

• 你设置了header=True，coalesce(1)写入时表头只会在文件开头出现一次，不会重复输出，符合需求。
• 能成功执行union说明两个DataFrame的列数、列类型完全匹配，尾记录的格式不会有问题，这点无需额外处理。

4. 大数据量场景的替代方案 #

如果数据量较大，不想用coalesce(1)，可以分两步写入：

• 第一步写入原DataFrame到目标路径（不带表头，或者先单独写入表头）
• 第二步用追加模式写入尾记录DataFrame
  示例代码：

# 先写入原数据（不带表头）
original_dataframe.write.option("header", False).mode("overwrite").csv("/path/to/output")

# 追加尾记录（注意：如果需要表头，需先单独写入表头文件）
trailer_dataframe.write.option("header", False).mode("append").csv("/path/to/output")

这种方式避免了单节点压力，但需要手动处理表头，且要确保文件系统支持追加操作（如HDFS、本地文件系统都支持）。

最终可用代码（小数据量场景） #

Original_dataframe: pyspark dataframe
Trailer_dataframe: pyspark dataframe

Final_dataframe_with_trailer = original_dataframe.union(Trailer_dataframe)
# 合并分区并写入单个CSV
Final_dataframe_with_trailer.coalesce(1).write.option("header", True).mode("overwrite").csv("<somelocation>")

内容的提问来源于stack exchange，提问作者Praveen Choudhary