Spark Glue中Join未利用分桶：维度表仍Shuffle问题咨询

以下是针对该问题的具体排查点和解决办法：

• 确认事实表的分桶配置：只有当事实表也按(market_cd, account_id)分桶，且分桶数与维度表一致（8000）时，Spark才能执行无Shuffle的分桶Join。如果事实表未分桶或分桶配置不匹配，必然会触发Shuffle。
• 校验维度表的分桶元数据：执行DESCRIBE EXTENDED 你的维度表名命令，查看输出中的Bucketed By和Number of Buckets字段，确认分桶字段、顺序及数量是否和预期一致。若元数据有误，需要重新建表并重新分桶写入数据。
• 检查Join关联键的顺序：分桶字段的顺序必须和Join时使用的关联键顺序完全一致。比如维度表分桶顺序是market_cd在前、account_id在后，而Join时写的是account_id = 事实表.account_id AND market_cd = 事实表.market_cd，这种顺序不匹配会导致Spark无法识别分桶结构，从而触发Shuffle。
• 验证Spark版本与参数生效情况：
  • 确保使用Spark 2.3及以上版本，早期版本对分桶Join的优化支持不完善；
  • 在Spark UI的「Environment」页面确认spark.sql.sources.bucketing.enabled为true、spark.sql.shuffle.partitions为8000，避免参数因提交命令格式错误未生效。
• 排查维度表的前置操作：如果维度表在Join前经过了聚合、窗口函数等转换操作，会破坏原有的分桶结构，导致Spark无法利用分桶优化。需确保Join时直接读取原始分桶表，或者在转换后重新分桶写入。

内容的提问来源于stack exchange，提问作者user3858193