如何在JavaScript中快速计算大文本数组的相似度百分比？

一、随机截取片段的可行性 #

完全可行，非常适合你这种对精度要求不高的场景。具体操作可以这么做：

• 从两篇目标文本中，各自随机截取多段固定长度的内容（比如每段取200-500字符，根据文本长度调整）
• 对每一对截取的片段，用轻量的方法计算相似度（比如统计相同字符的占比，或者用简单的Jaccard相似度）
• 把所有片段的相似度结果取平均值，作为两篇文本的整体相似度

误差控制上，截取的片段数量越多，误差越小。一般取20-30段就能把误差控制在5%以内，完全满足你检测论文是否有10%抄袭的需求。这种方法的优势是速度极快，只处理小片段内容，CPU占用极低，不会出现卡顿情况。

二、其他高效的替代算法 #

1. N-gram哈希统计 #

把文本拆分成连续的n个字符（常用3-gram，也就是三元字符组），用哈希表统计每个n-gram的出现频率，然后用Jaccard相似度计算两个文本n-gram集合的交集占并集的比例，或者用余弦相似度衡量频率分布的相似性。

这种方法的计算量是线性的，远低于Levenshtein的O(n*m)复杂度，处理大文本时速度提升非常明显。如果文本过长，还可以分块处理，进一步降低内存占用。

2. SimHash快速估算 #

SimHash可以将任意长度的文本转换成固定长度的哈希值，两个文本的哈希值汉明距离越小，代表相似度越高。计算SimHash的过程是线性遍历文本，生成哈希后只需计算汉明距离就能转换成相似度百分比（比如哈希长度为64位，汉明距离为k时，相似度=1 - k/64）。

这种方法适合批量处理文本集合，能快速筛选出高相似度的候选文本，非常适合论文抄袭检测这类需要对比大量文本的场景。

3. 采样式Jaccard词袋相似度 #

把文本按单词分割（中文需先分词），随机采样一定数量的单词（比如1000个），统计两个采样集合的交集与并集的大小比例，得到Jaccard相似度。这种方法牺牲了一点精度，但速度极快，对于大文本来说完全够用。

三、实际落地建议 #

• 论文抄袭检测场景优先选随机截取片段+Jaccard相似度的组合，实现简单，速度快，完全能满足10%抄袭检测的精度要求。
• 彻底放弃Levenshtein这类编辑距离算法，这类算法的复杂度决定了它不适合大文本的快速估算场景。
• 根据误差需求调整采样量：如果允许的误差越小，就增加截取的片段数或采样的单词数，平衡速度和精度即可。

内容的提问来源于stack exchange，提问作者Joseph Astrahan