如何用Java Bool Query实现Elasticsearch全字段匹配去重

要实现"仅当新文档与已有文档所有字段完全不同时才保存"的需求，核心是先查询Elasticsearch中是否存在与新文档三个字段（age、name、color）完全匹配的文档——如果存在则跳过保存，不存在则写入。

关键前提 #

确保你的三个字段的映射类型支持精确匹配：

• age 设为数值类型（如integer）
• name 和 color 设为keyword类型（或text类型同时启用keyword子字段，比如name.keyword），否则精确匹配会因为分词失效。

Java代码实现（基于High Level Rest Client） #

import org.elasticsearch.action.index.IndexRequest;
import org.elasticsearch.action.search.SearchRequest;
import org.elasticsearch.action.search.SearchResponse;
import org.elasticsearch.client.RequestOptions;
import org.elasticsearch.client.RestHighLevelClient;
import org.elasticsearch.index.query.BoolQueryBuilder;
import org.elasticsearch.index.query.QueryBuilders;
import org.elasticsearch.search.builder.SearchSourceBuilder;
import org.elasticsearch.xcontent.XContentFactory;

// 封装新文档的实体类
class Doc {
    private Integer age;
    private String name;
    private String color;
    
    // getter方法
    public Integer getAge() { return age; }
    public String getName() { return name; }
    public String getColor() { return color; }
}

public void saveIfNotDuplicate(RestHighLevelClient client, Doc newDoc, String indexName) throws Exception {
    // 构造布尔查询：同时匹配三个字段的精确值
    BoolQueryBuilder exactMatchQuery = QueryBuilders.boolQuery()
        .must(QueryBuilders.termQuery("age", newDoc.getAge()))
        .must(QueryBuilders.termQuery("name", newDoc.getName()))
        .must(QueryBuilders.termQuery("color", newDoc.getColor()));

    // 构造查询请求，仅需判断是否存在，所以size设为1即可
    SearchRequest searchRequest = new SearchRequest(indexName);
    SearchSourceBuilder sourceBuilder = new SearchSourceBuilder();
    sourceBuilder.query(exactMatchQuery);
    sourceBuilder.size(1);
    searchRequest.source(sourceBuilder);

    // 执行查询
    SearchResponse response = client.search(searchRequest, RequestOptions.DEFAULT);
    long totalHits = response.getHits().getTotalHits().getValue();

    if (totalHits == 0) {
        // 无完全匹配的文档，写入新文档
        IndexRequest indexRequest = new IndexRequest(indexName)
            .source(XContentFactory.jsonBuilder()
                .startObject()
                .field("age", newDoc.getAge())
                .field("name", newDoc.getName())
                .field("color", newDoc.getColor())
                .endObject());
        client.index(indexRequest, RequestOptions.DEFAULT);
    } else {
        // 已有完全匹配的文档，跳过保存
        System.out.println("文档已存在，无需重复保存");
    }
}

为什么matchAllQuery不适用？ #

matchAllQuery会匹配索引中所有文档，根本无法筛选出与新文档完全一致的条目，自然无法满足你的判断需求——必须用term精确匹配+bool must的组合，确保三个字段同时匹配才判定为重复。

内容的提问来源于stack exchange，提问作者Imlucky