区分有效英文单词与随机字符串及pspell校验方案优化问题
英文单词与随机字符串区分方案咨询
需求背景
需要将有效英文单词和随机字符串做区分,示例待校验数据如下:
apple bc3cd7410a8ee1defc4461cd902f pears banana banannna
目标是过滤bc3cd7410a8ee1defc4461cd902f这类随机字符串。
现有实现方案
当前采用pspell_check和pspell_suggest判断内容是有效单词还是合理拼写错误,代码如下:
function isNotRadomString($stringToCheck) { $dictionary = pspell_new('en'); if (!pspell_check($dictionary, $stringToCheck)) { ## 校验是否为用户输入时产生的真实拼写错误 if (!empty(pspell_suggest($dictionary, $stringToCheck))) { return true; } else { return false; } } else { return true; } }
该函数在上述示例中运行符合预期,但存在优化空间,当前对pspell_suggest的使用不符合其设计初衷。
待解答问题
pspell_suggest在哪些场景下会为yhsfolh这类无意义垃圾字符串返回候选建议?- 计算输入字符串与
pspell_suggest返回的首个候选结果的Levenshtein distance(莱文斯坦距离),能否提升校验准确率?
解答
关于pspell_suggest返回无意义串候选的场景
常见触发场景有三类:
- 随机串和真实单词的编辑距离极低:如果随机串长度和某常用词接近,仅2到3个字符存在差异,pspell的相似度匹配规则就会返回对应的单词作为候选
- 随机串包含常见英文词根/音节片段:如果随机串中恰巧出现了
fol、ly、un这类常用的英文构词片段,pspell的词根匹配逻辑会基于这些片段返回候选 - 随机串长度过短:长度小于5的随机串和常用短单词的编辑距离普遍偏低,大概率会触发候选返回
关于莱文斯坦距离的优化效果
加入莱文斯坦距离校验可以明显提升校验准确率。
你当前的逻辑只要pspell_suggest有返回就判定为非随机串,误判率很高。加入编辑距离校验后,可设置合理的阈值做二次判断:通常建议阈值设置为「待校验字符串长度的1/4」或者固定最大值2(比如长度为7的字符串,和候选的编辑距离超过2就判定为随机串),可以过滤掉大部分和候选词实际相似度极低的随机串。
额外优化建议
- 加入字符熵值计算:随机字符串尤其是包含数字、大小写混合的哈希类串的字符熵远高于真实英文单词,熵值计算可以快速过滤掉这类明显的随机串
- 不要仅用首个候选计算编辑距离,建议遍历前3到5个候选,取最小的编辑距离做判断,准确率更高
- 长度超过15的字符串可直接判定为随机,常用英文单词极少有超过15个字符的情况
内容的提问来源于stack exchange,提问作者endeavour
相关产品推荐
相关产品推荐

