PySpark DataFrame按分区写入时如何保持原有排序顺序？

你的问题核心是partitionBy会触发shuffle打乱原有顺序，而你无法依赖单一列重排，所以得绕开shuffle操作，直接基于原DataFrame的顺序拆分分组写入：

方法步骤 #

1. 提取Col2的所有唯一值
2. 循环每个唯一值，过滤出对应分组的行（过滤是窄依赖，不会改变原有顺序）
3. 将过滤后的分组数据合并为单个文件写入对应目录

代码示例 #

# 提取Col2的所有唯一值
unique_col2_vals = [row.Col2 for row in Data.select("Col2").distinct().collect()]

# 循环处理每个分组
for val in unique_col2_vals:
    # 过滤出当前分组的数据，保留原顺序
    grouped_df = Data.filter(Data.Col2 == val)
    # 合并为单个文件写入指定分区目录
    grouped_df.coalesce(1).write.mode("overwrite").csv(f"{mypath}/Col2={val}")

关键说明 #

• 过滤操作(filter)是窄依赖，不会改变原DataFrame的行顺序，所以分组后的数据完全保留原排序
• coalesce(1)仅合并分区不会触发shuffle，因此不会打乱顺序（如果分组数据原本分布在多个分区，coalesce会把数据拉到一个分区但保持原有顺序）
• 如果Col2的唯一值很多，collect()可能占用Driver内存，此时可以改用foreachPartition批量处理，但对于大多数场景，上述方法足够高效

内容的提问来源于stack exchange，提问作者ind_1617