Elasticsearch Java API Client返回重复文档问题排查

1. 先确认索引是否存在物理重复文档 #

这是最常见的原因：你的MyDocument索引里可能存在内容相同但_id不同的文档，或者同一业务标识的文档被多次索引。

可以通过聚合查询快速验证：

POST MyDocument/_search
{
  "size": 0,
  "aggs": {
    "duplicate_check": {
      "terms": {
        "field": "your_unique_business_field.keyword", // 替换成你的业务唯一标识字段（比如商品ID、用户ID）
        "min_doc_count": 2
      }
    }
  }
}

如果返回的聚合结果中有buckets，说明存在重复的业务文档，需要清理索引中的重复数据。

2. 给查询添加强制去重逻辑 #

如果确认索引里没有物理重复，但仍出现重复返回，可能是分片合并时的异常（概率较低），可以通过collapse参数强制按文档_id去重：

修改你的Java代码：

SearchResponse<MyDocument> response = elasticsearchClient.search(fn -> fn
        .query(query -> query
                .bool(bq -> bq
                        .must(
                                List.of(
                                        new Query.Builder()
                                                .term(t -> t
                                                        .field("mode.keyword")
                                                        .value("ON")
                                                ).build(),
                                        new Query.Builder()
                                                .matchPhrase(phrase -> phrase
                                                        .field("tags")
                                                        .query("My tag")
                                                ).build()
                                )
                        )
                ))
        .collapse(collapse -> collapse.field("_id")) // 新增：按文档ID去重
        , MyDocument.class);

3. 简化查询写法（避免潜在的语法错误） #

你的查询逻辑没问题，但手动构建Query.Builder实例容易出错，建议改用链式调用的简化写法，逻辑完全一致但更易维护：

SearchResponse<MyDocument> response = elasticsearchClient.search(fn -> fn
        .query(q -> q
                .bool(b -> b
                        .must(m -> m.term(t -> t.field("mode.keyword").value("ON")))
                        .must(m -> m.matchPhrase(p -> p.field("tags").query("My tag")))
                )
        ), MyDocument.class);

4. 检查tags字段的映射 #

如果tags是数组类型，match_phrase会匹配数组中的每个元素，但Elasticsearch默认只会返回一次文档，所以这个可能性很低。可以通过以下命令查看字段映射：

GET MyDocument/_mapping/field/tags

如果映射中type是text且fields.keyword存在，说明字段设置正常。

内容的提问来源于stack exchange，提问作者Mik