PySpark按year/month分区内数据排序失效问题咨询

这个问题我之前在处理Glue任务写分区数据的时候也碰到过，核心问题在于你现在的写法混淆了全局排序和分区内排序的逻辑，而且没考虑Spark并行写入时的文件顺序问题。

为什么当前写法会出问题？ #

当你先用orderBy("field1","field2")再调用partitionBy写入时，Spark会先执行全局排序——这会把所有数据shuffle到一起排序，不仅性能极低（大数据量下特别明显），而且完成全局排序后，数据会按year和month分发到不同的输出分区。但每个输出分区会生成多个文件，这些文件是全局排序结果中属于该分区的切片：单个文件内部是有序的，但Spark并行写入时不会保证这些文件的存储顺序，当你读取整个分区的内容时，文件的读取顺序是随机的，所以就会出现你看到的“部分数据排序正常，部分异常”的情况。

正确实现分区内有序的写法 #

要实现仅分区内有序，完全不需要全局排序，正确的做法是先按分区键把数据分组，再在每个组内部排序，最后写入。推荐两种写法：

写法一：显式分区+分区内排序

dataframe_with_year_month_columns \
    # 先按分区键重新分区，确保同一year/month的数据在同一个Spark任务分区中
    .repartition("year", "month") \
    # 对每个Spark分区内的数据按指定字段排序，实现分区内有序
    .sortWithinPartitions("field1", "field2") \
    .write \
    .format("json") \
    .partitionBy("year", "month") \
    # 可选：如果需要每个year/month分区只生成一个文件，设置足够大的单文件记录数
    # 可根据你的分区数据量调整，比如设为1000000（若分区内记录数少于这个值就只会生成一个文件）
    .option("maxRecordsPerFile", 1000000) \
    .mode("overwrite") \
    .save(v_target_path)

写法二：利用写入时的sortBy参数（更简洁）

dataframe_with_year_month_columns \
    .write \
    .format("json") \
    .partitionBy("year", "month") \
    # 指定分区内的排序字段，底层会自动在每个分区内完成排序
    .sortBy("field1", "field2") \
    .option("maxRecordsPerFile", 1000000) \
    .mode("overwrite") \
    .save(v_target_path)

关键细节说明 #

• repartition("year", "month")：让同一分区键的数据进入同一个Spark任务分区，确保后续排序是在分区内进行，而非全局。
• sortWithinPartitions/sortBy：仅对每个分区内部的数据排序，避免了全局排序的巨大shuffle开销，性能提升明显。
• maxRecordsPerFile：控制单个输出文件的最大记录数。如果设置的值大于该分区总记录数，每个year/month分区就只会生成一个文件，整个分区的内容就是完全有序的；如果分区数据量过大，不建议强行设置单个文件（避免文件过大影响读取性能），此时每个文件内部仍然有序，读取时可通过归并排序快速合并，成本很低。

额外注意事项 #

• 大数据量下绝对避免全局orderBy：会带来巨额的shuffle开销，严重拖慢任务执行速度。
• Glue环境配置：确保作业的executor资源足够，避免因资源不足导致的shuffle效率低下。

内容的提问来源于stack exchange，提问作者chishiki