百万量级正则列表与50T字符串匹配效率低，求高效解决方案

原代码性能瓶颈分析 #

• 两层循环的O(M*N)时间复杂度：100万条正则 × 50T文本的遍历方式无性能上限，完全无法适配超大规模场景
• 正则重复编译开销：每次循环匹配时才编译正则，重复编译的算力浪费极高
• 接口选型冗余：使用re.findall()提取所有匹配结果，但仅需判断是否存在匹配，存在无效计算
• Python原生re引擎性能不足：回溯型正则引擎面对多规则、长文本场景匹配效率极低

可落地的优化方案 #

1. 基础逻辑优化 #

• 提前预编译所有正则：一次性用re.compile()编译全量正则，避免循环中重复编译
• 替换匹配接口：把re.findall()替换为re.search()，仅判断是否存在匹配即可停止计算
• 提前终止匹配：若单条文本命中任意正则即可加入结果集，命中后直接终止当前文本的后续正则校验，减少无效匹配

2. 正则匹配引擎替换 #

替换Python原生re引擎，改用专为大规模多正则匹配场景优化的Hyperscan引擎，匹配效率比原生re高10~100倍，原生支持数十万级正则的一次性加载匹配，Python侧可直接调用hyperscan绑定库使用。
示例实现代码如下：

import hyperscan

# 初始化正则配置，注意Hyperscan默认处理bytes类型文本，字符串提前转码即可
reg_list = [b"domain\\.com\\/picture\\.png", b"entry{0,9}"]
flags = [hyperscan.HS_FLAG_DOTALL for _ in reg_list]
rule_ids = list(range(len(reg_list)))

# 预编译全量正则到Hyperscan数据库
hs_db = hyperscan.Database()
hs_db.compile(expressions=reg_list, ids=rule_ids, flags=flags)

RESULT_LIST = []
# 匹配回调：命中规则直接返回1终止当前文本的后续匹配
def match_callback(rule_id, from_pos, to_pos, flags, context):
    RESULT_LIST.append(context)
    return 1

# 遍历文本批量匹配
text_list = [b"test", b"string", b"entry4also_found", b"entry5"]
for text in text_list:
    hs_db.scan(text, match_event_handler=match_callback, context=text)

print(RESULT_LIST)

3. 分布式流程改造 #

针对50T级的超大规模文本，单节点算力完全无法覆盖，需做分布式改造：

• 对全量文本做分片，用Spark、MapReduce等分布式计算框架调度多节点并行处理
• 每个计算节点提前加载全量编译好的正则规则，独立处理分配到的文本分片，最后汇总所有节点的匹配结果
• 可新增前置剪枝逻辑：若正则包含固定字面量前缀，先用AC自动机做粗过滤，筛掉完全不可能匹配的文本后再做正则精确校验，可进一步降低70%以上的无效计算

内容的提问来源于stack exchange，提问作者plategt