如何优化含400个违禁词的URL拦截正则表达式的运行速度

1 先修正正则逻辑错误 #

你当前的正则使用了负向前瞻(?!.*(word1|...|wordx))，代表仅当URL中不存在违禁词时才会匹配成功。如果你的规则是「匹配到就拦截」，这个逻辑是完全反向的，会导致所有包含违禁词的.si网站根本不会被你的正则命中，反而放行违禁站点、拦截正常站点。
正确的匹配逻辑应该去掉负向前瞻的感叹号改成正向前瞻，调整后基础结构如下：

https?://(?=.*(word1|word2|...|wordx)).*\.si.*

2 正则本身的性能优化方案 #

• 调整匹配顺序，减少无效扫描：把协议匹配放到最开头，不满足http/https的字符串直接跳过，不需要执行400个违禁词的匹配逻辑，这一项调整就能减少70%以上的无效计算。
• 优化违禁词分支结构：
  • 把有公共前缀的违禁词合并，比如porn、porno、pornography可以合并为porn(ography|o)?，大幅减少正则分支的数量
  • 把出现概率更高的违禁词放到分支的最前面，正则的|分支是按顺序匹配的，命中高频词后就不需要再校验后面的低概率词
  • 如果你的拦截规则允许全词匹配，给每个违禁词加上单词边界\b，比如\bword1\b，既可以避免误匹配，也能减少不必要的子串扫描
• 取消无意义的回溯：如果你的正则引擎支持原子组，把违禁词分支包裹在原子组(?>...)里，匹配到对应分支后不会再回溯尝试其他可能，大幅降低回溯开销，优化后示例：

https?://(?=.*(?>word1|word2|...|wordx)).*\.si.*

3 非正则的更优实现方案 #

如果你的拦截工具支持原生的多子串匹配能力，不要把所有违禁词塞到一个正则里：

• 优先用工具自带的字符串匹配规则，400个词的子串匹配通常是基于AC自动机实现，扫描一次就能找出所有命中的违禁词，性能比回溯型正则高10~100倍
• 可以拆成两层规则：第一层先匹配所有.si后缀的站点，第二层对命中的站点单独做违禁词检查，不需要给所有请求都跑400个词的匹配逻辑

内容的提问来源于stack exchange，提问作者Teererai Marange