pandas中子串替换的最快方法，能否用Cython优化百万行处理性能？

原有方案慢的核心原因 #

• 循环调用str.replace：每替换一个子串就全量遍历一次文本列，N个待替换子串就要遍历N次，数据量越大冗余开销越高
• 逐行apply自定义函数：Python层面的逐行循环存在大量函数调用开销，完全没有利用pandas的向量化操作优势

最高效实现方案 #

方案1：正则批量一次性替换（绝大多数场景最优） #

直接将所有待替换子串拼接为单个正则表达式，仅遍历一次文本列完成全部替换，底层为C实现的向量化操作，性能远高于Python层面循环。
代码实现：

import re
import pandas as pd

# 示例数据
df = pd.DataFrame({ "text":
                    ["first text to replace"
                     , "second text to replace"
                     , "test this string"
                     , "this is not the first string"
                     , "short string test"]
                    })
removal_list = ["text to replace", "this string"]

# 转义正则特殊字符，避免子串中的元字符导致匹配错误
removal_pattern = '|'.join([re.escape(s) for s in removal_list])
# 一次性完成全部替换
df['text'] = df['text'].str.replace(removal_pattern, ' ', regex=True)

该方案在100万行数据集上通常可以在1秒内完成计算，比原有方案性能提升10~100倍。

方案2：Aho-Corasick自动机（待替换子串量极大时使用） #

如果removal_list长度超过1000，正则匹配的性能会下降，此时可以用AC自动机实现多模式匹配，时间复杂度仅和文本长度相关，和待匹配子串数量无关，可使用第三方库pyahocorasick实现：

import ahocorasick

# 构建AC自动机
ac = ahocorasick.Automaton()
for s in removal_list:
    ac.add_word(s, s)
ac.make_automaton()

def ac_replace(text):
    res = list(text)
    for end_idx, match_str in ac.iter(text):
        start_idx = end_idx - len(match_str) + 1
        # 替换匹配位置为空格
        for i in range(start_idx, end_idx + 1):
            res[i] = ' '
    return ''.join(res)

df['text'] = df['text'].apply(ac_replace)

关于Cython优化的说明 #

不需要使用Cython做优化，上述两种方案已经达到接近原生C的性能，Cython不会带来可感知的性能提升，反而会增加代码的维护成本。只有当你存在非常复杂的自定义替换逻辑时，才需要考虑Cython优化。 #

内容的提问来源于stack exchange，提问作者enchanted_potato