PySpark中使用Coalesce(1)是否会保留范围分区的排序规则？

问题解答 #

你观察到的orderBy执行逻辑完全正确：Spark的全局排序orderBy确实是先通过Exchange rangepartitioning(col#0000 ACS NULLS FIRST, 200)按排序键的区间拆分数据到多个分区，保证分区之间整体有序（前一个分区的所有数据都小于后一个分区的所有数据），再通过Sort [col#0000 ACS NULLS FIRST], true, 0完成每个分区内部的本地排序，最终实现全局排序效果。

你使用coalesce(1)保留了排序并非偶然：
coalesce操作的核心是仅合并分区、不触发shuffle，合并时会严格按照原有分区的顺序拼接数据，不会调整分区的排列顺序。官方文档提到的coalesce不保证保留分区之间的顺序，指的是上游分区本身没有全局有序语义、或者合并链路中存在打乱分区顺序的窄依赖操作的场景，在orderBy后直接调用coalesce(1)的场景下，将200个按序排列的有序分区直接合并为1个，结果会稳定保留全局排序。

如果需要更稳妥的实现，可以选择以下两种方案：

• 性能最优方案：orderBy(排序列)后直接链式调用coalesce(1)，无额外shuffle开销，该场景下排序结果稳定。
• 高可靠方案：使用repartitionByRange(1, 排序列).sortWithinPartitions(排序列)，该操作会按排序键把所有数据分到同一个分区，再做分区内排序，100%保证全局有序，仅会多触发一次shuffle，性能略低于第一种方案。

注意：

1. 禁止使用repartition(1)，该操作会用哈希分区规则随机分发数据到1个分区，会完全打乱原有排序，且产生不必要的shuffle开销。
2. 如果数据量极大，合并为1个分区会导致单executor压力过大甚至OOM，建议先评估数据量再操作。

内容的提问来源于stack exchange，提问作者Ed Cheng