Elasticsearch 8.x Java API Client滚动查询使用问题求助

你的代码存在三个关键问题，导致无法正确获取并处理文档：

• 未处理首次查询的结果：调用client.search后直接获取scrollId，但跳过了这次查询返回的第一批文档，直接进入scroll循环。
• scrollId未更新：每次scroll后未从返回的ScrollResponse中获取新的scrollId，重复请求同一批次数据，最终导致无新文档返回。
• 循环条件错误：scroll.hits().total().value()是索引总文档数，不会随滚动过程减少，用它作为终止条件会导致错误判断，应该以当前批次的hits数量是否大于0来决定是否继续滚动。

修正后的代码 #

// 首次发起查询，获取第一批文档和初始scrollId
var initialSearch = client.search(q -> q.index("addressbook")
                .scroll(Time.of(t -> t.time("1m"))), AddressBookRecord.class);
String scrollId = initialSearch.scrollId();

// 先处理第一批文档
List<Hit<AddressBookRecord>> initialHits = initialSearch.hits().hits();
System.out.println("初始批次文档数量：" + initialHits.size());
processHits(initialHits); // 替换为你的文档处理逻辑

ScrollResponse<AddressBookRecord> scrollResponse;
do {
    // 使用最新的scrollId发起滚动查询
    scrollResponse = client.scroll(q -> q.scrollId(scrollId)
                    .scroll(Time.of(t -> t.time("1m"))), AddressBookRecord.class);
    
    List<Hit<AddressBookRecord>> currentHits = scrollResponse.hits().hits();
    int currentHitCount = currentHits.size();
    System.out.println("当前批次文档数量：" + currentHitCount);
    
    // 处理当前批次文档
    processHits(currentHits);
    
    // 更新scrollId为本次返回的新scrollId
    scrollId = scrollResponse.scrollId();
    
} while (scrollResponse.hits().hits().size() > 0);

// 滚动结束后清理scroll上下文，释放资源
client.clearScroll(q -> q.scrollId(scrollId));

补充说明 #

• 滚动查询结束后必须调用clearScroll，避免Elasticsearch保留无效的scroll上下文占用内存。
• 如果后续仍出现hits为空但size显示正确的情况，可检查AddressBookRecord与Elasticsearch文档的字段映射是否匹配，确保反序列化逻辑正常。

内容的提问来源于stack exchange，提问作者Oleg Gritsak