Elasticsearch Java分页失效：使用Scroll ID获取数据异常排查

你的问题出在Scroll API的使用逻辑错误：Elasticsearch的Scroll机制并不支持通过PageRequest的page参数设置偏移量，它的设计目的是批量遍历全量数据，依赖初始搜索返回的scroll_id来延续遍历位置，而非传统分页的偏移量（from/size）。你设置的page=30500对Scroll完全无效，所以每次都会从头返回数据。

正确的全量数据遍历方式 #

• 初始化Scroll时，只指定批处理大小（size），不要设置page偏移
• 通过循环调用continueScroll方法，利用返回的scroll_id获取下一批数据，直到返回的结果为空，完成全量遍历

修正后的代码示例 #

// 初始化Scroll，仅设置批处理大小，page固定为0
SearchQuery searchQuery = new NativeSearchQueryBuilder()
        .withIndices(ELASTIC_INDEX)
        .withTypes(DOC_TYPE)
        .withPageable(PageRequest.of(0, BATCH_SIZE))
        .withFields("id", "pid")
        .build();

// 开始Scroll，获取第一批数据与scroll_id
ScrollHits<User> scrollHits = elasticsearchTemplate.startScroll(SCROLL_TIMEOUT, searchQuery, User.class);
List<User> allUsers = new ArrayList<>();

// 循环遍历所有批次数据
while (scrollHits.hasContent()) {
    allUsers.addAll(scrollHits.getContent());
    // 用上一轮的scroll_id获取下一批数据
    scrollHits = elasticsearchTemplate.continueScroll(scrollHits.getScrollId(), SCROLL_TIMEOUT, User.class);
}

// 遍历结束后清理scroll_id，释放ES资源
elasticsearchTemplate.clearScroll(scrollHits.getScrollId());

关键说明 #

• Scroll API专为全量数据导出/遍历设计，不适合随机分页（比如直接跳转到第30500条）。如果需要随机分页，应使用普通search接口配合from/size，但注意Elasticsearch默认from不能超过10000（可通过index.max_result_window调整，但过大偏移会导致性能下降）
• 每次continueScroll必须使用上一次返回的scroll_id，它记录了当前遍历的位置
• 遍历完成后务必调用clearScroll释放资源，避免占用Elasticsearch内存

内容的提问来源于stack exchange，提问作者mahfuj asif