Spark左连接OR条件触发广播致OOM，求避免广播连接的可行方案

问题背景 #

在Spark执行左连接时，已通过以下配置禁用广播功能：

spark.sql.adaptive.autoBroadcastJoinThreshold=-1
spark.sql.adaptive.enabled=false
spark.sql.autoBroadcastJoinThreshold=-1

但右表仍被广播，触发org.apache.spark.sql.execution.OutOfMemorySparkException，报错信息为：Size of broadcasted table far exceeds estimates and exceeds limit of spark.driver.maxResultSize。

排查发现，由于连接条件包含OR逻辑（非纯等值连接），Spark将广播嵌套循环连接作为唯一可选连接策略。添加MERGEJOIN提示后，日志输出：

DEBUG ExtractEquiJoinKeys: Considering join on: Some((((_1#119114._1.card_number = _2#119115.card) OR (_1#119114._1.card_number = _2#119115.visible_number_on_card)) OR (_1#119114._2.string = _2#119115.visible_number_on_card)))
WARN HintErrorLogger: Hint (strategy=merge) is not supported in the query: no equi-join keys.

问题解答 #

1. 是否有方法避免含OR条件的连接使用广播？ #

没有直接的配置或提示可以强制Spark对含OR的非等值连接使用非广播的连接策略。因为Spark的Shuffle Hash Join、Merge Join都要求连接条件是纯等值连接，而OR逻辑的多条件连接属于非等值连接范畴，Spark当前仅支持用广播嵌套循环连接来处理这类场景。如果要避免广播，只能通过改写SQL实现。

2. 是否只能将该连接拆分为多个独立连接？ #

拆分多条件OR连接为多个等值连接再合并结果，是当前最可行的解决方案。具体操作是把每个OR分支拆成独立的左连接，再用UNION ALL合并结果，若存在重复匹配的情况则需添加去重逻辑。示例逻辑：

-- 原连接逻辑
SELECT * FROM tableA
LEFT JOIN tableB
ON (tableA.card_number = tableB.card 
    OR tableA.card_number = tableB.visible_number_on_card 
    OR tableA.string = tableB.visible_number_on_card)

-- 改写后逻辑
SELECT * FROM tableA
LEFT JOIN tableB ON tableA.card_number = tableB.card
UNION ALL
SELECT * FROM tableA
LEFT JOIN tableB ON tableA.card_number = tableB.visible_number_on_card
UNION ALL
SELECT * FROM tableA
LEFT JOIN tableB ON tableA.string = tableB.visible_number_on_card
-- 若存在重复匹配，需添加去重逻辑
-- SELECT DISTINCT * FROM (...) 或 GROUP BY 主键字段

这种方式下每个分支都是纯等值连接，Spark可以选择Merge Join或Shuffle Hash Join，从而避免广播大表。

3. 含OR条件的连接能否转为无需广播的等值连接？ #

可以通过SQL改写实现，本质和拆分方法一致——将OR的多条件拆分为多个独立的等值连接，再合并结果。除此之外，没有其他方式能直接把含OR的非等值连接转换成单一的纯等值连接，因为OR逻辑本身不符合等值连接的匹配规则，无法通过字段转换等方式直接合并成一个等值条件。

内容的提问来源于stack exchange，提问作者alsetr