Pandas优化：字符串子串匹配遍历的运行时长提升问询

嘿，这个场景我太熟悉了！之前处理几万行URL数据的时候，用逐行循环或者简单的apply+子串判断，速度慢得让人抓狂。下面给你几个实测有效的优化思路，从易到难，按需选择：

如果你的参考列表不算特别长（比如几百个以内），这个方法是最省心的，而且速度比逐行循环快几十倍。核心是用Pandas的str.contains矢量化判断，再结合np.select批量匹配对应的子串：

import pandas as pd
import numpy as np

# 假设你的数据是这样的
df = pd.DataFrame({'URL_paths': ['abcd1234', 'xyz7890', 'mnop567']})
ref_list = ['cd123', 'yz78', 'nop5']

# 生成每个子串的匹配条件
conditions = [df['URL_paths'].str.contains(sub, regex=False) for sub in ref_list]
# 匹配对应的子串，没有匹配到就设为NaN
df['category'] = np.select(conditions, ref_list, default=np.nan)

注意点：

• 如果多个子串都能匹配同一行URL，np.select会返回第一个符合条件的子串，所以如果有优先级要求，记得调整ref_list的顺序。
• regex=False是关键，避免把子串当成正则表达式解析，既安全又更快。

如果你的参考列表有上千甚至上万个唯一子串，上面的方法还是会慢，因为每个子串都要单独做一次矢量化判断。这时候用Aho-Corasick自动机就非常合适——它能一次性处理所有子串的匹配，时间复杂度是线性的。

首先安装依赖库：

pip install pyahocorasick

然后写代码：

import ahocorasick
import pandas as pd
import numpy as np

# 构建自动机，把每个子串存进去
automaton = ahocorasick.Automaton()
for sub in ref_list:
    # 这里存子串本身就够了，不需要索引
    automaton.add_word(sub, sub)
automaton.make_automaton()

# 定义匹配函数，返回第一个找到的子串
def match_substring(url):
    # 遍历所有匹配的子串，返回第一个（如果要所有可以改成收集列表）
    for _, matched_sub in automaton.iter(url):
        return matched_sub
    return np.nan

# 批量处理
df['category'] = df['URL_paths'].apply(match_substring)

为什么快？：自动机会预先把所有子串构建成树状结构，遍历每个URL时只需要扫一遍就能找出所有匹配的子串，比逐个子串判断高效太多。

如果你的子串里没有正则特殊字符（比如*、?这些），可以把所有子串拼成一个正则模式，用str.extract一次性匹配：

import pandas as pd
import re

# 转义子串里的特殊字符，避免正则解析出错
pattern = '|'.join(re.escape(sub) for sub in ref_list)
# 提取第一个匹配的子串
df['category'] = df['URL_paths'].str.extract(f'({pattern})', expand=False)

这个方法的速度介于前两者之间，好处是代码简洁，不需要额外安装库。同样要注意子串顺序，正则会返回第一个匹配到的结果。

• 绝对不要用df.iterrows()或者df.apply(lambda x: [sub for sub in ref_list if sub in x][0])这种逐行循环的方式，Python循环在处理大数据时速度会慢到离谱。
• 如果需要匹配所有符合条件的子串而不是第一个，可以把上面的方法改成收集列表（比如用列表推导式或者在自动机里收集所有匹配结果）。

内容的提问来源于stack exchange，提问作者Dendrobates