PySpark 3.2中无法启用Shuffle Hash Join的问题求助

只禁用Sort Merge Join还触发不了Shuffle Hash Join，得满足多个条件并调整对应参数，具体操作如下：

1. 关闭自动广播（避免优先触发Broadcast Hash Join） #

Spark默认会把小于10MB的小表自动广播到各个节点，此时会优先选择Broadcast Hash Join而非Shuffle Hash Join。你可以通过以下方式调整：

• 直接禁用自动广播：

  spark.conf.set("spark.sql.autoBroadcastJoinThreshold", -1)
  

• 或者设置极小阈值（确保两张表都超过该值，比如1MB）：

  spark.conf.set("spark.sql.autoBroadcastJoinThreshold", "1m")
  

2. 确认Shuffle Hash Join的启用状态 #

Spark 3.x中spark.sql.join.shuffleHashJoin.enabled参数默认是开启的，但保险起见可以显式设置：

spark.conf.set("spark.sql.join.shuffleHashJoin.enabled", "true")

3. 注意Join类型的限制 #

Shuffle Hash Join并非支持所有Join类型，它仅适用于：

• Inner Join
• Left Semi Join
• Left Anti Join
• Right Outer Join（部分版本支持，需自行验证）

如果你的Join是Full Outer Join，Spark只能使用Sort Merge Join，无法触发Shuffle Hash Join。

4. 调整表的大小比例（可选） #

当其中一张表的大小是另一张的3倍以内时，Spark更倾向于选择Shuffle Hash Join，且此时性能表现更优。若两张表大小差距过大，可能仍会采用其他Join策略。

验证执行计划 #

设置完参数后，重新执行Join语句并查看执行计划：

df = small_table.join(big_table, small_table['id'] == big_table['id'], how='inner')
df.explain()

若执行计划中出现ShuffledHashJoin，则说明已成功触发Shuffle Hash Join。

内容的提问来源于stack exchange，提问作者user2773013