如何在PySpark中使用regexp_extract_all精准提取匹配词

问题根源 #

1. 特殊字符未转义：原代码里的.是正则通配符，会匹配任意字符，导致非精准匹配（比如awbwa被误匹配为a.b.a）。
2. 单词边界\b误用：关键词前带有空格，\b仅匹配单词字符（字母、数字、下划线）与非单词字符的边界，当关键词开头是空格时，无法匹配字符串开头的目标关键词，也会导致匹配范围错误。

正确解决方案 #

步骤1：转义关键词特殊字符 #

用re.escape()处理每个关键词，将.这类正则特殊字符转为字面量。

步骤2：用环视断言替代\b #

使用(?<!\w)和(?!\w)作为边界断言，确保匹配的关键词前后不是单词字符，避免被其他单词包裹，同时兼容关键词开头带空格的场景。

最终代码 #

import re
from pyspark.sql import functions as F

keywords = [' b.o.o', ' a.b.a', ' titi']

# 转义每个关键词的特殊字符
escaped_keywords = [re.escape(k) for k in keywords]
# 为转义后的关键词添加边界环视断言
pattern_parts = [fr'(?<!\w){kw}(?!\w)' for kw in escaped_keywords]
# 拼接成最终正则模式
pattern = '|'.join(pattern_parts)

# 提取所有精准匹配的关键词
df = df.withColumn('words', F.expr(f"regexp_extract_all(colB, '{pattern}', 0)"))

关键说明 #

• re.escape(k)：将关键词中的.转义为\.，确保仅匹配字面量的点号，不会匹配任意字符。
• (?<!\w)：负向后视断言，确保关键词前不是单词字符。
• (?!\w)：负向前视断言，确保关键词后不是单词字符。
• 使用组号0提取整个匹配的关键词，无需额外分组。

测试示例 #

若colB内容为：

"test b.o.o abc a.b.a xyz titi awbwa"

运行代码后，words列会得到精准结果：

[' b.o.o', ' a.b.a', ' titi']

不会误匹配awbwa。

内容的提问来源于stack exchange，提问作者salyyy