如何在MongoDB中实现非文本随机字符串的相似度查询

MongoDB默认的text索引基于分词规则设计，仅适合有语义分隔的自然语言文本检索，完全无法适配无分词的连续随机字符串相似度查询。针对需要匹配相似度95%以上固定长度随机串的需求，可根据数据量规模选择以下实现方案：

如果你的数据集规模在10万条以内，可以直接通过MongoDB聚合管道的$function运算符自定义相似度计算逻辑，无需提前做数据预处理：

• 逐位比对的计算逻辑最适合这类固定长度随机串，性能开销远低于通用的编辑距离算法
• 可通过前缀初筛大幅降低计算量：以你给出的64位长度字符串为例，95%相似度意味着最多3个字符存在差异，若差异主要出现在串尾，可先匹配前61位完全一致的记录，再做精准相似度校验

示例查询代码如下：

// 替换your_collection为实际集合名，your_string_field为存储随机串的字段名
const targetStr = "fc3ff81fe007c001ffbff007e201e001e001fdc1fe01fe03bfcf8007e007f807";
const similarityThreshold = 0.95;
const prefixLength = Math.floor(targetStr.length * similarityThreshold);

db.your_collection.aggregate([
  // 前置前缀过滤，大幅减少后续计算量
  {
    $match: {
      $expr: {
        $eq: [
          { $substrCP: ["$your_string_field", 0, prefixLength] },
          targetStr.substring(0, prefixLength)
        ]
      }
    }
  },
  // 计算精确相似度
  {
    $addFields: {
      similarity: {
        $function: {
          body: function(source, target) {
            if (source.length !== target.length) return 0;
            let sameCharCount = 0;
            for (let i = 0; i < source.length; i++) {
              if (source[i] === target[i]) sameCharCount++;
            }
            return sameCharCount / source.length;
          },
          args: ["$your_string_field", targetStr],
          lang: "js"
        }
      }
    }
  },
  // 过滤达到相似度阈值的记录
  {
    $match: {
      similarity: { $gte: similarityThreshold }
    }
  }
])

注意：该方案在无前置过滤时会触发全表扫描，数据量超过10万条时查询延迟会明显升高，不适合超大规模数据集。

如果你的数据规模较大，可以在数据写入时提前做n-gram切分：

• 按2-3个字符为步长，将随机串切分为连续的token组，存入单独的数组字段
• 对该token数组字段建立多键索引
• 查询时先对目标串做相同规则的n-gram切分，通过索引召回token重合度达标的候选记录，再对候选集做精确相似度校验

该方案通过索引提前过滤绝大多数无关记录，查询性能比全表计算高2-3个数量级，可支撑百万到千万级数据量的相似度查询需求。

如果你使用的是MongoDB官方云服务Atlas集群，可直接使用内置的Atlas Search能力，配置自定义n-gram分析器，查询时直接通过参数控制相似度阈值，无需自行做数据预处理和二次校验，性能和精度都有稳定保障。

内容的提问来源于stack exchange，提问作者hloth