JavaScript正则如何实现含不定数量元音的黑名单单词子串检测
无法命中拉长变形敏感词的原因
现有检测逻辑是严格匹配连续字符和黑名单单词完全一致的子串,当待检测文本里的敏感词被拉长(比如把banana里的单个a换成连续好几个a),连续匹配的规则就会被打断,自然检测不到。
另外原来的实现还有几个实际跑起来会踩的坑:
- 每次调用检测方法都要遍历整个黑名单,临时为每个单词创建正则,黑名单规模大的时候性能很差
- 没有处理黑名单里的正则特殊字符(比如
.、*、?这类),如果黑名单有带这类字符的单词,直接丢给RegExp会出现莫名其妙的匹配错误 - 用
filter把所有匹配的项找出来再判断有没有值,会遍历完整个黑名单才结束,明明找到第一个匹配的就可以返回了,白浪费性能
适配重复字符变形的改造方案
针对把单个字符重复拉长来绕检测的场景,只需要把每个黑名单单词的匹配规则调整为:单词里的每个字符,只要是连续出现1次或多次就算匹配,这样不管单个字符被拉多长都能命中。同时把上面提到的几个坑一起修掉:
- 初始化的时候就把所有黑名单转成对应的正则,别等用户调用检测方法的时候再临时生成
- 加个特殊字符转义的逻辑,避免正则元字符搞乱匹配规则
- 用
some代替filter,找到第一个匹配的就立刻返回结果,不做全量遍历
首先先加个通用的正则转义工具方法,JS本身没带这个:
function escapeRegExp(str) { return str.replace(/[.*+?^${}()|[\]\\]/g, '\\$&'); }
然后在类初始化的时候,提前把黑名单处理成预编译好的正则:
// 构造方法里接收原始黑名单 constructor(blacklist) { this.invalidRegs = blacklist.map(word => { // 把单词拆成单个字符,每个字符允许连续出现任意多次 const regSource = word.split('') .map(char => `${escapeRegExp(char)}+`) .join(''); // 忽略大小写做匹配,不需要全局标识 return new RegExp(regSource, 'i'); }); }
改造后的检测方法:
isInvalid(text) { // 找到第一个匹配的就返回true,不遍历剩下的 return this.invalidRegs.some(reg => reg.test(text)); }
实际效果验证
- 传入
"I love bananas":针对banana生成的b+a+n+a+n+a+正则,会匹配到文本里正常拼写的banana子串,返回true,和原有逻辑的预期一致 - 传入
"I love banaaaaaanaaas":同一个正则可以匹配到文本里被拉长的“b + 连续多a + n + 连续多a + n + 连续多a”的子串,返回true,刚好覆盖需要支持的场景
注意事项
这套规则是专门针对「重复拉长单个字符」的规避手法设计的,如果遇到敏感词中间插无关特殊字符(比如b*a*n*a)的场景,这套规则是匹配不到的——毕竟规则太松的话会误判正常文本,比如正常写"baaa"(形容羊叫)也会被当成敏感词,得根据自己业务实际遇到的规避手法再调整匹配规则,别把规则放得太宽。
如果黑名单规模特别大,还可以把所有预生成的正则规则合并成单个大正则(用|分隔每个单词的匹配规则),把多次遍历测试变成单次正则匹配,进一步提升检测速度。
内容的提问来源于stack exchange,提问作者Raul
相关产品推荐
相关产品推荐

