PySpark如何高效用正则匹配DataFrame title列的多个指定精确单词

问题原因分析 #

你遇到的正则匹配失效/匹配错误的问题核心是两个原因：

1. 直接在SQL字符串中写\b时，反斜杠会被SQL解析器优先转义为退格符，正则实际没有拿到单词边界规则，导致匹配结果为空
2. 未正确加单词边界规则的正则会匹配包含目标字符串的任意子串，因此出现sCar、Carry这类误匹配结果

可行解决方案 #

方案1：修正SQL表达式的转义 #

给单词边界符的反斜杠做二次转义，SQL表达式就能正确识别正则的\b规则：

df2 = df.where('title rlike "\\bCars?\\b|\\bVehicles?\\b"').select('id','title')

方案2：使用Column对象的rlike方法（更推荐） #

搭配Python原生raw字符串，无需手动处理多层转义，可读性更高：

from pyspark.sql.functions import col

df2 = df.filter(col("title").rlike(r"\bCars?\b|\bVehicles?\b")).select("id", "title")

方案3：动态生成正则（适配任意单词列表） #

如果目标单词列表是可变的，可自动拼接正则，还能自动转义正则特殊字符，避免报错：

from pyspark.sql.functions import col
import re

target_words = ['Car','Cars','Vehicle','Vehicles']
# 自动构建带单词边界的正则表达式
regex_pattern = "|".join([rf"\b{re.escape(word)}\b" for word in target_words])
df2 = df.filter(col("title").rlike(regex_pattern)).select("id", "title")

匹配效果说明 #

正则中的\b是单词边界标识符，仅匹配「单词字符(字母、数字、下划线)和非单词字符的交界」「字符串开头」「字符串结尾」三种场景，因此可以完美实现精确完整单词匹配：

• 可匹配：Car、My Car、Car!、Cars
• 不可匹配：sCar、Carry、VehiclesTest

内容的提问来源于stack exchange，提问作者newleaf