PySpark 2.3中能否基于列存储的LIKE条件关联DataFrame？

问题背景 #

你需要将源DataFrame的firstname列，与条件DataFrame中存储的LIKE匹配模式（condition列）进行关联，最终得到符合匹配规则的关联结果。但尝试用crossJoin加filter的方式时，df.firstname.like(map.condition)语法无效，因为like()方法不支持传入列对象作为参数。

可行解决方案 #

方法1：使用expr执行SQL风格的LIKE匹配 #

这是最直接的方案，利用PySpark的expr函数可以直接解析SQL表达式，而SQL中的LIKE操作支持列与列之间的比较：

from pyspark.sql.functions import expr

# 交叉连接两个DataFrame，并用SQL LIKE条件过滤
result_df = df.crossJoin(map).filter(expr("firstname LIKE condition"))
result_df.show()

方法2：转换LIKE模式为正则表达式，用rlike匹配 #

如果需要更灵活的字符串匹配逻辑，可以将LIKE的通配符转换为正则表达式语法，再用rlike方法匹配：

from pyspark.sql.functions import regexp_replace, col

# 将LIKE的%替换为.*，_替换为.，生成正则表达式列
map_with_regex = map.withColumn(
    "regex_pattern",
    regexp_replace(regexp_replace(col("condition"), "%", ".*"), "_", ".")
)

# 交叉连接后用正则匹配过滤
result_df = df.crossJoin(map_with_regex).filter(col("firstname").rlike(col("regex_pattern")))
# 移除临时生成的正则列，保留原结构
result_df = result_df.drop("regex_pattern")
result_df.show()

执行结果 #

两种方法都能得到你预期的结果：

+---------+----------+---------+----+
|firstname|middlename|condition|dest|
+---------+----------+---------+----+
|    James|          |      %a%|Box1|
|  Michael|      Rose|      %a%|Box1|
|   Robert|  Williams|      %b%|Box2|
|    Maria|      Anne|      %a%|Box1|
+---------+----------+---------+----+

原代码无效的原因 #

PySpark的Column.like()方法仅接受字符串字面量作为匹配模式，无法识别Column对象。当你传入map.condition（一个列）时，方法会将其视为普通字符串处理，导致语法错误。因此必须使用支持列间比较的方式来实现需求。

内容的提问来源于stack exchange，提问作者skolukmar