使用正则过滤大型PySpark DataFrame后执行count操作无响应问题求助

• 正则触发灾难性回溯：你构造的正则包含多组嵌套量词、多个独立正向预查，匹配长文本时时间复杂度会指数级上升。你在小数据集下测试无感知，但应用到5万行带长文档的数据集时，大量回溯会直接导致任务卡死。
• 跨引擎适配问题：PySpark的rlike函数底层使用Java的java.util.regex正则引擎，和你本地测试用的Python re引擎优化逻辑完全不同，Java正则对多预查+嵌套量词的场景性能表现极差，且不会主动终止无效回溯。
• 正则逻辑冗余：三个正向预查已经完成了「所有目标词均落在指定跨度内」的校验，后续的重复匹配组属于冗余逻辑，额外增加了扫描开销。

1. 优先优化正则表达式，从根源降低匹配复杂度 #

首先把所有非必要的捕获组改为非捕获组（不需要提取匹配内容的场景下，非捕获组开销低数倍），同时去掉冗余匹配逻辑、简化写法，优化后的正则示例：

\b(?=(?:\w+\W*){0,8}that\b)(?=(?:\w+\W*){0,8}this\b)(?=(?:\w+\W*){0,8}other\b)(?:\b(?:that|this|other)\b(?:\W+\w+\W*){0,3}){3}

仅这一项优化就能把匹配速度提升5-10倍。

2. 增加粗过滤前置逻辑，减少正则扫描范围 #

先通过更轻量的数组操作过滤掉完全不包含所有目标词的行，再对少量候选数据执行正则校验，能大幅降低整体计算量，代码示例：

from pyspark.sql.functions import split, array_intersect, array, size, col

words_list = ["other", "this", "that"]
# 先将文本分割为单词数组，粗过滤出同时包含所有目标词的候选行
df_with_words = df.withColumn("word_arr", split(col("attachment_text"), r"\W+"))
candidate_df = df_with_words.filter(size(array_intersect(col("word_arr"), array(*words_list))) == len(words_list))

# 对候选行应用正则做间隔规则校验
optimized_pattern = r"\b(?=(?:\w+\W*){0,8}that\b)(?=(?:\w+\W*){0,8}this\b)(?=(?:\w+\W*){0,8}other\b)(?:\b(?:that|this|other)\b(?:\W+\w+\W*){0,3}){3}"
final_filtered = candidate_df.filter(col("attachment_text").rlike(optimized_pattern))

3. 附加优化项 #

如果数据集中文本普遍很长，可以考虑开启Spark的正则表达式缓存，或者将编译后的正则广播到所有Executor，避免每个Task重复编译正则，进一步提升执行效率。

内容的提问来源于stack exchange，提问作者PracticingPython