批量替换英文数字词为阿拉伯数字：如何优化正则替换性能？

你提到的字典映射和预编译正则确实是解决这个问题的核心优化方向，针对200万条数据的场景，这两个调整能大幅降低重复计算的开销，比当前多次调用re.sub的方案高效得多。咱们来拆解具体的优化思路和实现：

核心问题分析 #

当前方案的最大痛点是重复编译正则+多次替换调用：每次调用re.sub都会隐式编译正则表达式，200万条数据+每个字段11次替换，总共要执行4.4亿次左右的正则编译/替换操作，这会消耗大量CPU资源。

优化后的实现方案 #

1. 定义映射字典+预编译正则 #

先把单词到数字的对应关系整理成字典，然后预编译一个能匹配所有目标单词的正则（用边界\b确保只替换独立单词，比如不会把BONE里的ONE替换掉）：

import re

# 构建单词到数字的映射表，扩展性强，后续加新单词只需修改这里
WORD_TO_NUM = {
    'ZERO': '0',
    'ONE': '1',
    'TWO': '2',
    'THREE': '3',
    'FOUR': '4',
    'FIVE': '5',
    'SIX': '6',
    'SEVEN': '7',
    'EIGHT': '8',
    'NINE': '9',
    'TEN': '10'
}

# 预编译正则表达式，只执行一次，避免重复编译的开销
# 用|拼接所有目标单词，\b确保匹配独立的单词
PATTERN = re.compile(r'\b(' + '|'.join(WORD_TO_NUM.keys()) + r')\b')

2. 批量处理逻辑 #

写一个通用的地址行处理函数，单次正则替换就完成所有单词的转换；然后遍历列表时原地修改条目（避免生成新列表占用双倍内存，200万条数据的内存开销不容忽视）：

def process_address_line(line):
    # 用lambda函数从字典中取对应值，完成单次替换
    return PATTERN.sub(lambda match: WORD_TO_NUM[match.group(1)], line)

def update_word_to_numeric(entrylist):
    # 原地修改每个条目，节省内存
    for entry in entrylist:
        entry.addr_ln_1 = process_address_line(entry.addr_ln_1)
        entry.addr_ln_2 = process_address_line(entry.addr_ln_2)
    return entrylist

可选：兼容大小写场景 #

如果你的地址数据里存在小写/混合大小写的单词（比如one Main Street），可以给正则加上忽略大小写的标志，同时调整替换逻辑：

# 加re.IGNORECASE标志，匹配任意大小写的目标单词
PATTERN = re.compile(r'\b(' + '|'.join(WORD_TO_NUM.keys()) + r')\b', re.IGNORECASE)

def process_address_line(line):
    # 把匹配到的单词转成大写，再去字典里取值
    return PATTERN.sub(lambda match: WORD_TO_NUM[match.group(1).upper()], line)

优化效果对比 #

• 性能：每个条目从22次re.sub调用减少到2次，加上预编译正则的一次性开销，整体性能能提升10倍以上（具体取决于单条数据的长度）。
• 扩展性：后续要新增更多单词（比如ELEVEN），只需在WORD_TO_NUM字典里加一行，无需新增re.sub调用。
• 内存：原地修改条目避免了创建新列表，对于200万条数据来说，能节省数GB的内存空间（如果每个条目占用1KB，就是2GB的差距）。

当然，如果你的当前方案在测试中已经能满足性能要求，继续使用也没问题，但对于大规模数据场景，优化后的方案显然更高效、更易维护。

内容的提问来源于stack exchange，提问作者sniperd