预分桶预排序表Join时Spark仍执行排序的问题排查

问题描述 #

两张表已按joinKey预分桶且预排序，分桶数量一致，数据分布均匀无倾斜，但执行Join操作时，Spark执行计划中仍生成了额外的Sort步骤。

简化查询SQL：

SELECT a.*, b.*
FROM tableA a
JOIN tableB b ON a.joinKey = b.joinKey

执行计划中出现的Sort片段：

*(1) Sort [joinKey#1 ASC NULLS FIRST], false, 0
...
*(2) Sort [joinKey#2 ASC NULLS FIRST], false, 0

可能原因及解决方案 #

• 表元数据未正确记录排序信息
  Spark依赖表的元数据识别预排序状态，若建表时未显式指定SORTED BY，或元数据丢失，Spark无法感知已有排序。
  解决：重新建表时显式声明排序字段，或通过ALTER TABLE补充元数据：

  -- 建表时指定
  CREATE TABLE tableA (...)
  CLUSTERED BY (joinKey) INTO N BUCKETS
  SORTED BY (joinKey ASC);
  
  -- 已存在表补充元数据
  ALTER TABLE tableA SET TBLPROPERTIES ('spark.sql.sources.sortColumns' = 'joinKey ASC')
  

• 未启用支持预排序优化的Join策略
  仅Sort Merge Join、Shuffled Hash Join能利用预排序优势，若Spark自动选择Broadcast Hash Join（小表场景），会忽略预排序。
  解决：强制启用Sort Merge Join：

  SET spark.sql.join.preferSortMergeJoin = true;
  

• 分桶列与Join列不匹配
  分桶列必须与Join列完全一致（不能是表达式或衍生列），否则Spark无法关联分桶排序与Join操作。
  解决：确保建表时CLUSTERED BY的字段就是joinKey。

• Spark版本优化支持不足
  早期2.x版本Spark对分桶表Join的优化逻辑不完善，无法自动识别预排序状态。
  解决：升级至Spark 3.x及以上版本，新版本对分桶表的优化逻辑更成熟。

• 实际数据排序状态与元数据不符
  若写入数据时未按joinKey排序，即使元数据标记了排序，Spark读取时仍会重新排序。
  解决：重新写入数据并保证排序：

  INSERT INTO tableA SELECT * FROM source_table ORDER BY joinKey;
  

内容的提问来源于stack exchange，提问作者zqert