Elasticsearch Java 8.5获取索引所有ID异常：Java客户端无结果但REST正常

我尝试用以下Java代码获取Elasticsearch索引my_index的所有ID：

SearchRequest sr = SearchRequest.of(r -> r
    .index("my_index")
    .source(s -> s.fetch(false))
    .size(10000));

System.out.println("Request: " + sr);

final SearchResponse<MyDoc> response;
try {
    response = this.esClient.search(sr, MyDoc.class);
} catch (ElasticsearchException | IOException e) {
    throw new MyException("fetch all ids: request failed: " + e.getMessage(), e);
}

System.out.println("Response: " + response);

打印出的请求为：

POST /my_index/_search?typed_keys=true {"_source":false,"size":10000}

这个请求直接用REST调用能正常返回999条ID，但Java客户端调用后响应无结果。请问该怎么正确实现？

问题原因 #

你设置了_source: false（即fetch(false)），同时指定MyDoc.class作为响应的泛型类型。此时Elasticsearch不会返回文档源数据，Java客户端无法反序列化生成MyDoc实例，导致响应中的hits被处理为空集合，但实际上ES已经返回了包含ID的hit元数据。

解决方法 #

1. 基础实现（适用于文档量≤10000） #

使用Void.class作为泛型类型，直接从hit元数据中提取ID，无需反序列化文档内容：

import java.util.List;
import java.util.stream.Collectors;

// 构建请求
SearchRequest sr = SearchRequest.of(r -> r
    .index("my_index")
    .source(s -> s.fetch(false))
    .size(10000));

System.out.println("Request: " + sr);

final SearchResponse<Void> response;
try {
    response = this.esClient.search(sr, Void.class);
} catch (ElasticsearchException | IOException e) {
    throw new MyException("fetch all ids: request failed: " + e.getMessage(), e);
}

// 提取所有ID
List<String> ids = response.hits().hits().stream()
    .map(hit -> hit.id())
    .collect(Collectors.toList());

System.out.println("获取到的ID数量: " + ids.size());
System.out.println("ID列表: " + ids);

2. 分页实现（适用于文档量>10000） #

Elasticsearch默认限制size最大为10000，超过这个数量需要用search_after进行分页遍历：

import java.util.ArrayList;
import java.util.List;
import java.util.stream.Collectors;

List<String> allIds = new ArrayList<>();
String lastId = null;

do {
    // 构建分页请求
    SearchRequest sr = SearchRequest.of(r -> r
        .index("my_index")
        .source(s -> s.fetch(false))
        .size(10000)
        // 以上一次最后一个文档的ID作为分页标记
        .searchAfter(lastId != null ? List.of(lastId) : null)
        // 指定排序字段（这里用ID排序，确保分页连续性）
        .sort(sort -> sort.field(f -> f.field("_id").order(SortOrder.Asc))));

    SearchResponse<Void> response = this.esClient.search(sr, Void.class);

    // 提取当前页的ID，并更新分页标记
    List<String> batchIds = response.hits().hits().stream()
        .map(hit -> {
            lastId = hit.id();
            return hit.id();
        })
        .collect(Collectors.toList());

    allIds.addAll(batchIds);

// 直到没有更多数据为止
} while (batchIds.size() == 10000);

System.out.println("总ID数量: " + allIds.size());

关键要点 #

• 当不需要文档源数据时，用Void.class作为泛型，避免反序列化异常或空结果
• 文档ID属于hit的元数据，即使_source: false也会被ES返回，直接通过hit.id()即可获取
• 处理大量文档时必须分页，不能依赖单一的size参数突破默认限制

内容的提问来源于stack exchange，提问作者Bruno Grieder