You need to enable JavaScript to run this app. 区分有效英文单词与随机字符串及pspell校验方案优化问题
优惠活动
大模型
产品
解决方案
定价
更多

区分有效英文单词与随机字符串及pspell校验方案优化问题

英文单词与随机字符串区分方案咨询

需求背景

需要将有效英文单词和随机字符串做区分,示例待校验数据如下:

apple
bc3cd7410a8ee1defc4461cd902f
pears
banana
banannna

目标是过滤bc3cd7410a8ee1defc4461cd902f这类随机字符串。

现有实现方案

当前采用pspell_check和pspell_suggest判断内容是有效单词还是合理拼写错误,代码如下:

function isNotRadomString($stringToCheck)
    {
        $dictionary = pspell_new('en');
        if (!pspell_check($dictionary, $stringToCheck)) {
            ## 校验是否为用户输入时产生的真实拼写错误
            if (!empty(pspell_suggest($dictionary, $stringToCheck))) {
                return true;
            } else {
                return false;
            }
        } else {
            return true;
        }
    }

该函数在上述示例中运行符合预期,但存在优化空间,当前对pspell_suggest的使用不符合其设计初衷。

待解答问题

  1. pspell_suggest在哪些场景下会为yhsfolh这类无意义垃圾字符串返回候选建议?
  2. 计算输入字符串与pspell_suggest返回的首个候选结果的Levenshtein distance(莱文斯坦距离),能否提升校验准确率?

解答

关于pspell_suggest返回无意义串候选的场景

常见触发场景有三类:

  • 随机串和真实单词的编辑距离极低:如果随机串长度和某常用词接近,仅2到3个字符存在差异,pspell的相似度匹配规则就会返回对应的单词作为候选
  • 随机串包含常见英文词根/音节片段:如果随机串中恰巧出现了fol、ly、un这类常用的英文构词片段,pspell的词根匹配逻辑会基于这些片段返回候选
  • 随机串长度过短:长度小于5的随机串和常用短单词的编辑距离普遍偏低,大概率会触发候选返回

关于莱文斯坦距离的优化效果

加入莱文斯坦距离校验可以明显提升校验准确率。
你当前的逻辑只要pspell_suggest有返回就判定为非随机串,误判率很高。加入编辑距离校验后,可设置合理的阈值做二次判断:通常建议阈值设置为「待校验字符串长度的1/4」或者固定最大值2(比如长度为7的字符串,和候选的编辑距离超过2就判定为随机串),可以过滤掉大部分和候选词实际相似度极低的随机串。

额外优化建议

  • 加入字符熵值计算:随机字符串尤其是包含数字、大小写混合的哈希类串的字符熵远高于真实英文单词,熵值计算可以快速过滤掉这类明显的随机串
  • 不要仅用首个候选计算编辑距离,建议遍历前3到5个候选,取最小的编辑距离做判断,准确率更高
  • 长度超过15的字符串可直接判定为随机,常用英文单词极少有超过15个字符的情况

内容的提问来源于stack exchange,提问作者endeavour

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.20 15:15:03