使用ES Rest Client按搜索条件获取Elasticsearch唯一索引名

嘿，我来帮你搞定这个获取唯一Elasticsearch索引名的问题！你遇到的重复值问题，大概率是因为搜索返回的每个文档都会附带所属的索引名，同一索引下的多个文档就会导致索引名重复出现。下面给你两种靠谱的解决办法：

高效方案：利用ES聚合实现服务端去重 #

这种方式直接让Elasticsearch在服务端完成去重，不需要把大量文档传输到客户端，性能更优，尤其是当搜索结果量级很大的时候。核心思路是通过terms聚合，按_index字段（每个文档自带的索引标识字段）分组，直接得到唯一的索引名列表。

代码示例（Java RestHighLevelClient） #

// 初始化RestHighLevelClient（根据你的实际ES配置调整）
RestHighLevelClient client = new RestHighLevelClient(
        RestClient.builder(new HttpHost("localhost", 9200, "http")));

// 构建搜索请求，设置你的搜索条件
SearchRequest searchRequest = new SearchRequest();
searchRequest.indices("your-target-pattern*"); // 替换成你的索引模式或具体索引

SearchSourceBuilder sourceBuilder = new SearchSourceBuilder();
// 添加你的实际查询条件，比如matchQuery、boolQuery等，这里用matchAll做示例
sourceBuilder.query(QueryBuilders.matchAllQuery());

// 添加terms聚合，按_index字段分组获取唯一索引
TermsAggregationBuilder indexAgg = AggregationBuilders.terms("unique_indices")
        .field("_index")
        .size(Integer.MAX_VALUE); // 如果你的索引数量较多，设置足够大的size值
sourceBuilder.aggregation(indexAgg);

// 关闭文档返回，只保留聚合结果，进一步提升性能
sourceBuilder.size(0);

searchRequest.source(sourceBuilder);

try {
    SearchResponse response = client.search(searchRequest, RequestOptions.DEFAULT);
    // 解析聚合结果
    Terms uniqueIndicesAgg = response.getAggregations().get("unique_indices");
    for (Terms.Bucket bucket : uniqueIndicesAgg.getBuckets()) {
        String indexName = bucket.getKeyAsString();
        System.out.println("唯一索引名：" + indexName);
        // 这里可以把索引名存入集合或做其他处理
    }
} catch (IOException e) {
    e.printStackTrace();
} finally {
    // 记得关闭客户端连接
    try {
        client.close();
    } catch (IOException e) {
        e.printStackTrace();
    }
}

备选方案：客户端用集合去重 #

如果你的搜索结果量级不大，也可以在客户端直接用Set集合来自动去重——因为Set的特性就是不允许重复元素。

代码示例 #

// 假设你已经执行完搜索，得到了SearchResponse对象
SearchResponse searchResponse = ...;

Set<String> uniqueIndexNames = new HashSet<>();
// 遍历所有搜索命中的文档，提取索引名并存入Set
for (SearchHit hit : searchResponse.getHits().getHits()) {
    String indexName = hit.getIndex();
    uniqueIndexNames.add(indexName);
}

// 现在uniqueIndexNames里就是所有去重后的索引名
for (String index : uniqueIndexNames) {
    System.out.println(index);
}

总结 #

• 如果搜索结果量大，优先用聚合方案，减少网络传输和客户端内存压力；
• 结果量小的话，客户端Set去重是简单快捷的选择。

内容的提问来源于stack exchange，提问作者Akib Ali