PySpark DataFrame重分区后全局排序失效问题如何解决？

你当前使用的repartition + sortWithinPartitions组合仅能保证单个分区内的数据有序，无法实现跨分区的全局顺序。Spark默认的哈希重分区规则是对分区键的哈希值取模来分配分区，STATE_NAME字段哈希计算后California刚好落到编号更小的分区，Alabama落到编号更大的分区，而最终输出结果是按分区编号顺序拼接的，自然首个展示的州不是Alabama。

分两种场景选择适配方案：

场景1：需要所有行全局完全有序 #

有两种实现方式：

• 数据量可支撑全局排序的场景：直接替换现有代码为全局排序即可：

  df = df.orderBy('STATE_NAME', 'CUSTOMER_ID', 'ROW_ID')
  

  如果需要控制输出文件数量，可以在排序后调用coalesce(N)指定，不要在排序前调用repartition，否则会打乱已经排好的顺序。
• 大数据量需要保留多分区的场景：用范围重分区替代哈希重分区，代码修改为：

  df = df.repartitionByRange(100, 'STATE_NAME', 'CUSTOMER_ID', 'ROW_ID')\
      .sortWithinPartitions('STATE_NAME', 'CUSTOMER_ID', 'ROW_ID')
  

  repartitionByRange会按照排序键的实际值范围划分分区，编号更小的分区存储排序后更小的区间值，分区之间本身就符合排序逻辑，每个分区内部再排序后，所有分区按顺序拼接的结果就是全局完全有序的，Alabama会自然出现在输出结果的最开头。

场景2：仅要求STATE维度整体有序，不需要所有行全局排序 #

可以先给所有STATE_NAME生成全局有序的唯一序号，按序号做重分区后再做分区内排序，即可保证STATE维度的整体顺序，同时每个STATE的所有数据都会落在同一个分区内。

• 如果最终要输出单个有序文本文件，直接在orderBy后调用coalesce(1)即可，仅适合数据量不大的场景，超大数据量单文件输出会存在严重性能瓶颈。
• repartitionByRange生成的分区数据量可能不均匀，如果对分区大小均匀性要求高，可以提前对排序键做采样，基于采样结果自定义分区规则。

内容的提问来源于stack exchange，提问作者tallmary