如何清理文本白名单外词汇的数字字符，无需正则逐个匹配大量白名单词

最优实现思路 #

核心逻辑是「先分词匹配白名单，再处理非白名单内容」，完全避开正则逐个匹配白名单的性能问题，即使白名单体量达到十万级甚至百万级也能高效运行：

1. 先把白名单转换为Python集合，利用集合O(1)的查询效率，完全不需要把白名单写入正则
2. 按照白名单允许的字符规则（字母、数字、下划线、&）对文本做分词，把内容拆为「符合白名单字符规则的词汇单元」和「分隔符（空格、标点等）」两类
3. 遍历所有分词单元：
   • 词汇单元如果在白名单集合内，直接原样保留
   • 词汇单元如果不在白名单内，删除其中所有数字后保留
   • 分隔符单元直接原样保留，不做任何处理
4. 把处理后的所有单元拼接回完整文本即可

代码实现 #

import re

# 白名单转集合，查询性能不受白名单体量影响
white_set = {"76", "tw3nty", "potato_man", "d&"}
text = "there was once a potato_man with tw3nty cars and d& 76 different homes 123test456!"

# 正则同时匹配词汇单元和分隔符单元
tokens = re.findall(r'([a-zA-Z0-9_&]+|[^a-zA-Z0-9_&]+)', text)

processed_list = []
for token in tokens:
    # 判断当前单元是否为符合规则的词汇
    if re.fullmatch(r'[a-zA-Z0-9_&]+', token):
        if token in white_set:
            processed_list.append(token)
        else:
            # 非白名单词汇删除数字
            processed_list.append(re.sub(r'\d+', '', token))
    else:
        # 分隔符直接保留
        processed_list.append(token)

result = ''.join(processed_list)
print(result)
# 输出结果：there was once a potato_man with tw3nty cars and d& 76 different homes test!

原pyparsing代码报错原因 #

你写的代码主要有三个问题：

• Word(alphanums)仅匹配字母和数字，不包含白名单允许的下划线、&符号，会把potato_man、d&这类合法白名单词拆分为多个token，导致匹配失败
• oneOf(phrases) ^ Word(...)的规则优先级设计有问题，可能出现白名单词被后面的普通词汇规则先匹配、无法触发白名单保留逻辑的问题
• parseAction的入参是pyparsing的ParseResults对象，不是直接的字符串，你直接对入参做re.sub操作会触发类型错误，需要取token[0]才能拿到匹配到的字符串内容

其他工具说明 #

不需要额外引入第三方工具库，上面的原生Python实现已经是性能最优的方案，完全可以支撑大体量白名单的处理需求。如果需要处理包含空格的多词白名单短语，只需要把分词逻辑替换为最大正向/反向匹配即可，核心逻辑不需要变动。

内容的提问来源于stack exchange，提问作者wildlemon