PHP similar_text()效率低下，求高精准高效的文章相似度匹配方案

先明确算法差异的核心原因 #

你遇到的问题本质是算法匹配逻辑完全不同：

• PHP的similar_text()是基于字符级的最长公共子串占比，衡量的是文本内容的实际重复度，和你需要的"真实相似"匹配；
• MySQL全文检索、Solr的More Like This是基于词频统计（TF-IDF），衡量的是主题相关性——哪怕短文章和长文章主题沾边，分值就会很高，但实际内容重复度极低；
• Levenshtein距离是计算文本间的编辑次数，转成百分比时如果不结合文本长度校准，结果也会失真。

所以之前用MySQL/Solr的分值直接当相似度百分比是用法错误，它们的核心作用是快速缩小候选范围，而非给出精确的内容重复度分值。

优化现有similar_text()的执行效率 #

既然similar_text()的精准度符合需求，重点就是减少它的计算量：

• 先做主题过滤：用MySQL全文检索或Solr MLT先筛选出主题相关的文章（比如取relevance前50-100篇），只对这些候选文章用similar_text()计算精确相似度，不用遍历全库；
• 添加特征预处理：给每篇文章提取关键特征，比如：
  • 计算文章的N-gram特征（比如2-3个连续词的组合），存到单独的表中，新增文章时先匹配这些N-gram，快速排除完全不相关的文章；
  • 提取文章的哈希指纹（比如取前100个字符的MD5，或者关键段落的哈希），新增文章时先对比哈希，快速排除完全重复的文章；
• 分批次查询：不要一次性从数据库拉取所有候选数据，分批次（比如每次拉100条）计算，避免内存溢出和耗时过长。

替代方案：兼顾效率与精准度 #

如果想进一步提升效率，可以尝试这些方法：

• 用PHP扩展加速精确匹配：比如使用ext-levenshtein的优化版本，或者引入fuzzy相关扩展，比纯PHP实现的similar_text()效率高很多；
• 局部敏感哈希（LSH）：把文章转换成哈希签名，相似的文章哈希会有重叠，能快速定位候选集，再用similar_text()验证。可以自己实现简单的MinHash逻辑，或者用现成的PHP库实现LSH；
• 数据库层面的近似字符匹配：用MySQL的LOCATE()函数查找长公共子串（比如找新增文章中长度>20的片段是否存在于其他文章中），或者用REGEXP匹配关键句子，先过滤掉明显不相似的文章，再用精确算法计算。

修正之前的用法误区 #

• MySQL全文检索的relevance不能直接转换成和similar_text()等价的百分比，它的分值是相对值，只能用来排序筛选主题相关的文章，不能作为内容相似度的判断标准；
• Levenshtein距离转相似度时，要结合文本长度校准，公式可以用：

  $lenA = strlen($textA);
  $lenB = strlen($textB);
  $maxLen = max($lenA, $lenB);
  $distance = levenshtein($textA, $textB);
  $similarity = (1 - $distance / $maxLen) * 100;
  

  但Levenshtein对长文本效率极低，只适合短内容的匹配。

内容的提问来源于stack exchange，提问作者Kipras Bielinskas