如何在ElasticSearch DSL查询中实现相似结果去重并支持用户选择

该需求有非常成熟的可落地方案，完全不需要强依赖AI、ML类技术才能实现。Elasticsearch原生提供了多套适配搜索引擎场景的相似文档处理能力，完全可以复现Google搜索引擎“默认折叠相似冗余结果、支持手动展开查看全量”的交互逻辑。你举的两段近似Node.js文档的过滤场景，用原生能力就能精准识别处理。

方案1：基于ES原生Collapse（折叠）能力实现（生产环境最推荐，零AI依赖） #

这是ES专门为相似结果去重设计的原生能力，交互逻辑和主流搜索引擎的折叠逻辑完全对齐，落地成本最低：

• 提前对存量文档做预处理：给每篇文档生成一个专属的相似分组标识group_key，这个字段的生成完全不需要AI，用纯文本规则即可实现：对文档正文分词后提取TopN个高频核心词，拼接后计算SimHash或者MD5值，高度相似的文档会生成同一个group_key（比如你举的两段Node.js文档，核心关键词重合度超过90%，生成的group_key完全一致）
• 查询阶段默认开启折叠配置，只展示每个分组的最高相关性主结果，示例DSL如下：

{
  "query": {
    "match": { "doc_content": "Node.js V8引擎" }
  },
  "collapse": {
    "field": "group_key",
    "inner_hits": {
      "name": "group_similar_docs",
      "size": 10,
      "_source": ["doc_id", "title", "content_snippet"]
    }
  },
  "size": 20
}

• 接口返回时，默认只把每个折叠组的第一条主结果渲染给用户；同组的其他相似文档存在inner_hits字段里，前端只需要做“查看该组全部相似内容”的交互入口，用户点击展开时直接读取预存的inner_hits数据即可，不需要二次发请求查询ES。

方案2：基于More Like This（MLT）原生能力做后置聚合（轻量适配，无提前预处理成本） #

如果不想对存量文档做批量预处理生成group_key，可以用ES自带的MLT能力实现相似识别：

• 第一轮查询先正常返回相关性Top N的匹配结果
• 对每个返回的主结果，调用MLT能力计算和其余待展示结果的文本相似度，把相似度超过预设阈值（比如80%）的文档归为同一分组
• 前端的展示、交互逻辑和Collapse方案完全一致。

可选增强：AI/ML类技术的定位 #

AI、ML能力不是实现这个去重需求的前置必须条件，仅作为精度增强的可选项存在：

• 当业务需要识别“字面表述差异大、但语义完全一致”的文档时，纯文本哈希、MLT的TF-IDF计算会存在漏判，这时候可以引入预计算的文档语义向量，存在ES的dense_vector字段里，用向量相似度作为分组依据，提升识别精度
• 这类优化只影响相似识别的准确率，不是功能落地的硬门槛。

• 默认过滤状态：返回结果按分组折叠，仅展示每个分组相关性最高的1条主结果，同时返回每个分组的相似文档总数、折叠的相似文档列表
• 用户切换“查看全部结果”模式时，直接移除DSL里的折叠配置，正常返回全量匹配结果即可，不需要改动其他查询逻辑

内容的提问来源于stack exchange，提问作者Parsa Mir Hassannia