Jaccard距离的替代方案：适配词集合的[0,1]区间距离度量咨询

你当前使用的Jaccard距离本身完全匹配你提出的所有计算规则，除此之外还有多类同场景适用的无序集合距离，全部满足返回值处于[0,1]区间、支持大小存在差异的集合计算、不考虑元素排序、0值对应两集合元素完全一致、1值对应两集合无任何共同元素的要求，具体包括：

• Sørensen-Dice距离（索伦森-戴斯距离）
  计算公式为：Dice(A,B) = 1 - 2|A∩B|/(|A|+|B|)
  和Jaccard距离的差异是为交集部分赋予了更高权重，对两集合大小差异的敏感度低于Jaccard距离，更适合整体规模差距不大的词集合匹配场景。取值边界严格合规：两集合完全相同时计算结果为0，完全无交集时结果为1。

• 二值词集合余弦距离
  计算时先将词集合映射为全词表维度的二值向量（词存在则取值为1，不存在为0），基于余弦相似度转换为距离值，公式可简化为：CosDistance(A,B) = 1 - |A∩B|/√(|A|*|B|)
  该度量对集合大小差异的鲁棒性更强，哪怕两个词集合规模差距较大，只要核心匹配元素的占比足够高，距离值也不会被过度拉高。取值边界完全匹配规则：两集合元素完全一致时结果为0，完全无共同元素时结果为1。

• 归一化Mash集合距离
  以词集合本身作为特征单元做匹配计算，基础计算逻辑为-log10(2|A∩B|/(|A|+|B|))，通过线性映射将计算结果归一化到[0,1]区间。它的特点是对小样本集合的计算稳定性更好，不会因为单个元素的偏差就导致距离值出现剧烈跳变，归一化后同样严格满足取值规则：完全相同集合计算结果为0，完全无交集集合计算结果为1。

注：这类距离度量的共同前提是所有计算对象为去重后的无序集合，不需要提前对集合内的词语做排序，也不会因为集合本身的大小差异出现无法计算的问题。

内容的提问来源于stack exchange，提问作者viyarar337