pandas DataFrame文本关键词匹配计数性能调优咨询

DevOps 小满

2026-10-7

优化方案

原代码性能瓶颈在于逐行apply调用属于Python层循环，处理50万行量级数据效率极低，以下是和原逻辑完全对齐（整词匹配、忽略大小写）的高效实现：

方案1：pandas向量化正则匹配（无额外依赖，性能提升10~100倍）

原生pandas实现，不需要引入第三方库，优先推荐使用：

仅计算命中比例（最简版，内存占用最低）

import pandas as pd
import re

# 预处理关键词：转义正则特殊字符，添加整词边界避免子串匹配
obs_set = set(observations_words_list)
pattern = '|'.join([rf'\b{re.escape(w)}\b' for w in obs_set])

# 跳过不必要的reset_index操作
text_series = df['text'].dropna()
# 向量化匹配，自动忽略大小写
hit_mask = text_series.str.contains(pattern, case=False, regex=True)
obs_count = hit_mask.mean()

需保留Observations命中次数列

text_series = df['text'].dropna().reset_index(drop=True)
df = text_series.to_frame()
df['Observations'] = df['text'].str.count(pattern, case=False, regex=True)
obs_count = (df['Observations'] > 0).mean()

方案2：AC自动机实现（性能最优，适合超大数据量场景）

如果需要进一步提速，可使用多模式匹配的AC自动机算法，安装pyahocorasick库后实现，性能比正则方案再高2~5倍：

import ahocorasick

# 构建AC自动机
automaton = ahocorasick.Automaton()
for idx, word in enumerate(observations_words_list):
    automaton.add_word(word.lower(), (idx, word.lower()))
automaton.make_automaton()

def count_hit(text):
    words = set(text.lower().split())
    return sum(1 for _, (_, w) in automaton.iter(text.lower()) if w in words)

text_series = df['text'].dropna().reset_index(drop=True)
df = text_series.to_frame()
df['Observations'] = df['text'].apply(count_hit)
obs_count = (df['Observations'] > 0).mean()