超大数据量下如何为Pandas DataFrame基于字符串匹配创建布尔新列

完全没必要逐行遍历，直接用Pandas内置的向量化字符串匹配即可——这套方法是Cython底层优化的实现，比Python层逐行循环的方案快10~100倍，百万行规模的文本匹配通常几秒就能处理完。

具体实现步骤 #

• 预处理关键词列表：因为后续用正则做批量匹配，需要先对每个关键词做特殊字符转义，避免关键词里带.*?这类正则元字符时出现匹配逻辑错误
• 把转义后的关键词用正则的或匹配符|拼接，生成可以一次性匹配任意关键词的模式串
• 调用Pandas字符串列内置的str.contains方法做整列向量化匹配，直接生成布尔类型新列

可直接复用的测试代码：

import re
import pandas as pd

# 你提供的测试数据
df = pd.DataFrame({'Date':['10/2/2011', '11/2/2011', '12/2/2011', '13/2/2011'], 
                    'Phrases':['I have a cool family', 'I like avocados', 'I would like to go to school', 'I enjoy Harry Potter']}) 
keyword_list = ['cool','avocado','lord of the rings']

# 生成正则匹配模式
match_pattern = '|'.join(re.escape(kw) for kw in keyword_list)
# 向量化匹配生成布尔列
# case=False: 不区分大小写匹配；na=False: 文本为空时统一判定为不包含关键词
df['has_keyword'] = df['Phrases'].str.contains(match_pattern, case=False, na=False)

效果验证 #

跑完上述代码后，新列has_keyword的取值为[True, True, False, False]，和你预期的判定结果完全一致。

实用注意事项 #

• 如果需要匹配整词而非任意子串（比如关键词avocado不要匹配到avocados、avocadoes这类衍生词里的子串），可以调整模式串加入英文词边界：

  match_pattern = r'\b(?:{})\b'.format('|'.join(re.escape(kw) for kw in keyword_list))
  

• 如果关键词列表规模超过数千个，纯正则匹配的性能会略有下降，可以换用rapidfuzz这类基于C实现的字符串匹配库做批量匹配，速度还能再提升一倍以上
• 不要用df['Phrases'].apply(lambda x: any(kw in x for kw in keyword_list))这类逐行遍历的写法，本质和手写循环没有性能差异，百万行场景下会非常慢

内容的提问来源于stack exchange，提问作者power_of_epi