Spark LIKE操作优化：通配符全匹配Join的执行逻辑疑问

问题背景 #

假设我们有以下两个Spark DataFrame：

df_with_wild_card = spark.createDataFrame(
   [("random_key", "%")],
   ["key", "value"]
)

df_with_long_value_column = spark.createDataFrame(
   [("value1"),
   ("value2"),
   ("value3"),
   ("value4") ... ],
   ["value"]
)

想要执行如下Join操作：

df_with_long_value_column.alias("df_with_long_value_column").join(
            f.broadcast(df_with_wild_card.alias("df_with_wild_card")),
            f.expr("df_with_long_value_column.value like df_with_wild_card.value"),
            "inner",
        )

由于df_with_wild_card的value字段仅为%，理论上df_with_long_value_column中的所有value都应出现在Join结果中。核心疑问是：Spark会逐个检查df_with_long_value_column中的每个值是否匹配%，还是会识别出该通配符为全匹配，直接将所有值纳入结果？

回答 #

Spark默认不会主动识别%作为全匹配的特殊场景进行优化，它会严格按照LIKE表达式的执行逻辑，对df_with_long_value_column中的每一条记录，与广播后的df_with_wild_card记录进行逐行匹配检查。

不过因为%本身可以匹配任意字符串（包括空字符串），所以最终结果确实会包含df_with_long_value_column的所有记录，但执行层面并没有跳过匹配步骤。

如果想针对这种全匹配场景做性能优化，可以手动改写Join条件，用lit(True)替代LIKE表达式，让Spark直接生成笛卡尔积（结合广播小表的操作，性能依然高效），省去逐行的LIKE计算开销：

df_with_long_value_column.alias("df_l").join(
    f.broadcast(df_with_wild_card.alias("df_w")),
    f.lit(True),
    "inner"
)

内容的提问来源于stack exchange，提问作者amit