如何高效统计词列表与长文本的匹配频次（含多词项与重复项）

给定州名列表和长文本，需要从文本中提取所有出现的州名（包括"New York"这类多词州名），保留原文本里的空格，同时保留重复出现的项。而且单条文本有4000+词，要处理数百万条，得找最快的实现方式。

示例：

• 州名列表：states = ["Montana", "New York", "Iowa", "Alabama", "Washington D.C."]
• 输入文本："Montana is big sky country where great ski slopes can be found. Avid skiers will enjoy Montana more than New York."
• 预期输出：["Montana", "Montana", "New York"]

之前尝试的方法有明显缺陷：

state_lower = [x.lower() for x in states]
set(state_lower).intersection(text.lower().split())

问题点：

• 拆分文本后没法匹配多词州名
• 用集合去重了，丢了重复出现的州名
• 没法保留州名原有的空格

要处理大规模文本的多模式匹配，Aho-Corasick是最优选择之一——预处理一次州名后，每条文本的匹配时间是线性的，远超正则循环匹配的效率。

步骤1：安装依赖 #

用pyahocorasick这个高效的第三方实现：

pip install pyahocorasick

步骤2：核心代码 #

import ahocorasick

def extract_states(states, text):
    # 构建自动机，存入所有州名
    automaton = ahocorasick.Automaton()
    for state in states:
        automaton.add_word(state, state)
    
    # 完成自动机初始化
    automaton.make_automaton()
    
    # 遍历文本收集所有匹配结果
    matches = []
    for _, matched_state in automaton.iter(text):
        matches.append(matched_state)
    
    return matches

# 测试示例
states = ["Montana", "New York", "Iowa", "Alabama", "Washington D.C."]
text = "Montana is big sky country where great ski slopes can be found. Avid skiers will enjoy Montana more than New York."
print(extract_states(states, text))  # 输出: ['Montana', 'Montana', 'New York']

关键优势 #

• 处理多词州名：直接匹配完整字符串，不需要拆分文本，完美解决"New York"这类多词匹配问题
• 保留重复项：遍历文本时会收集所有匹配结果，自然保留重复出现的州名
• 高效大规模处理：自动机只需要初始化一次，之后每条文本的匹配时间是O(N)（N为文本长度），适配百万级文本处理
• 保留原空格：匹配的是原文本中的完整字符串，州名里的空格会被完整保留

扩展：不区分大小写匹配 #

如果需要忽略大小写（比如文本中的"montana"也能匹配列表里的"Montana"），可以修改代码：

import ahocorasick

def extract_states_case_insensitive(states, text):
    automaton = ahocorasick.Automaton()
    # 建立小写州名到原州名的映射
    state_map = {s.lower(): s for s in states}
    for lower_state in state_map.keys():
        automaton.add_word(lower_state, state_map[lower_state])
    
    automaton.make_automaton()
    
    # 转小写文本后匹配
    text_lower = text.lower()
    matches = []
    for _, matched_state in automaton.iter(text_lower):
        matches.append(matched_state)
    
    return matches

# 测试
test_text = "montana is great, MONTANA and new york are nice."
print(extract_states_case_insensitive(states, test_text))  # 输出: ['Montana', 'Montana', 'New York']

性能优化建议 #

• 复用自动机：只初始化一次州名自动机，之后所有文本都用同一个自动机匹配，避免重复初始化的开销
• 批量并行处理：数百万条文本可以用多进程处理（避开Python GIL的影响），进一步提升处理速度

内容的提问来源于stack exchange，提问作者Atreya Dey