Python pandas如何高效遍历正则模式为DataFrame生成表达式列表列

你当前实现慢的核心原因有三个：

1. 循环调用str.contains会对全量文本做N次全表扫描，重复遍历开销极大
2. 生成N个中间布尔列会产生大量DataFrame写入、内存占用开销
3. 最后用axis=1的apply逐行生成结果，是pandas里性能最差的行处理方式，单步开销通常是原生Python操作的5倍以上

方案1：预编译正则+原生列表推导（通用性最好，提速3~10倍） #

你之前尝试直接调用re包反而更慢，大概率是没有提前做正则预编译——每次匹配临时解析正则表达式的开销，甚至比匹配本身还高。提前把所有正则编译成正则对象，再用原生列表推导单次遍历文本列生成结果，跳过所有中间列生成，性能提升非常明显：

import re
import pandas as pd

# 仅执行1次正则预编译，避免重复解析正则的开销
compiled_regex = [re.compile(exp) for exp in expressions]

# 直接遍历文本列生成结果，无中间列、无pandas行级apply开销
df['exp_list'] = [
    # 注意用search而不是match，match只会匹配文本开头
    [r.pattern for r in compiled_regex if r.search(str(text))]
    for text in df['text']
]

注意：如果文本列存在空值，提前把str(text)换成空值判断逻辑，避免把NaN转成字符串'nan'产生误匹配。

方案2：复合正则单次匹配（正则数量多的时候提速10~50倍） #

如果你的正则数量超过10个，可以把所有正则合并成一个带命名分组的复合正则，交给re引擎底层做自动状态机优化，只需要一次文本扫描就能拿到所有命中结果，性能比逐个匹配正则高一个量级：

# 构造复合正则，每个子正则对应一个唯一命名分组
# 如果你的正则本身包含捕获组，请先把所有(替换为(?: 转成非捕获组，避免分组错乱
combined_re = re.compile(
    "|".join(f"(?P<re_{idx}>{pattern})" for idx, pattern in enumerate(expressions))
)

def match_all(text):
    if pd.isna(text):
        return []
    hit = combined_re.search(text)
    if not hit:
        return []
    # 提取所有命中分组对应的原正则
    return [
        expressions[int(g_name.split("_")[1])]
        for g_name, g_val in hit.groupdict().items()
        if g_val is not None
    ]

# 用map做列级映射，比axis=1的apply快很多
df['exp_list'] = df['text'].map(match_all)

额外避坑提示 #

• 绝对不要在大数据集上用axis=1的apply做行处理，逐行生成Series对象的开销远大于实际计算逻辑的开销
• 所有正则必须提前编译，不要在循环匹配的过程中临时调用re.match/re.search
• 不需要保留中间匹配结果的话，永远不要生成单正则对应的布尔列，写入DataFrame的IO开销非常高
• 如果你的文本长度普遍很长，可以先做简单的关键词预过滤，比如用Aho-Corasick算法先筛掉肯定不命中的文本，再跑正则匹配，性能还能再上一个台阶

内容的提问来源于stack exchange，提问作者DaNewt