Python大列表迭代优化：百万级字符串匹配性能提升求助

问题根源 #

• 逐行循环的低效性：直接遍历1000万行DataFrame的行，Python循环机制天生不适合处理超大规模数据，行级操作的累积开销会被无限放大。
• 巨型正则的性能瓶颈：将9万条元素拼接成|分隔的正则串后，正则引擎需要在每个字符串中逐一匹配9万个备选模式，再加上re.IGNORECASE带来的大小写转换开销，匹配效率呈指数级下降。
• 冗余操作累积：循环内重复执行str(val)类型转换、转set去重、字符串拼接等操作，进一步拖慢整体运行速度。

优化方案 #

方案1：改用Aho-Corasick多模式匹配算法（最优选择） #

Aho-Corasick是专门针对多模式串匹配的高效算法，适合在大量文本中快速匹配上万个模式串，性能远优于巨型正则表达式。

实现步骤：

1. 安装依赖库：

pip install pyahocorasick

2. 优化后的代码：

import pandas as pd
import ahocorasick

# 预处理list2：去重并统一转小写，避免重复匹配和多次大小写转换
unique_skus = list({sku.lower() for sku in list2})

# 构建AC自动机
automaton = ahocorasick.Automaton()
for sku in unique_skus:
    automaton.add_word(sku, sku)
automaton.make_automaton()

# 定义批量匹配函数
def count_unique_matches(s):
    s_lower = s.lower()
    # 用AC自动机快速找出所有匹配的模式串，自动去重
    matched_skus = set()
    for _, sku in automaton.iter(s_lower):
        matched_skus.add(sku)
    return len(matched_skus)

# 对DataFrame列进行向量化处理（比逐行循环高效10倍以上）
df_list1['match_count'] = df_list1['cola'].apply(count_unique_matches)

# 生成目标格式的结果列表
result = df_list1.apply(lambda row: f"{row['cola']}~{row['match_count']}", axis=1).tolist()

方案2：内存优化（针对超大规模数据） #

如果1000万条数据占用内存过高，可以用Dask进行分块并行处理，充分利用多CPU核心：

import dask.dataframe as dd

# 将Pandas DataFrame拆分为多个分区，并行处理
ddf = dd.from_pandas(df_list1, npartitions=8)  # 分区数建议等于CPU核心数

# 应用匹配函数
ddf['match_count'] = ddf['cola'].apply(count_unique_matches, meta=('match_count', int))

# 计算结果并转回列表
result = ddf.apply(lambda row: f"{row['cola']}~{row['match_count']}", axis=1, meta=('result', str)).compute().tolist()

额外优化细节 #

• 提前去重list2：如果list2本身存在重复元素，先去重可以减少模式串数量，降低匹配压力。
• 避免重复类型转换：统一将所有字符串转成小写（或大写），只做一次转换，避免循环内重复操作。
• 用DataFrame原生方法替代手动列表拼接：直接操作DataFrame列比手动append到列表更高效，减少内存碎片。

内容的提问来源于stack exchange，提问作者Aritra Bhattacharya