如何在Elasticsearch中突破默认10K限制，分200次调用遍历20K条搜索结果？

你遇到的是ES里典型的深分页问题——默认情况下from + size不能超过10000（由index.max_result_window参数控制），所以直接调大from参数会报错。要通过size=100分200次遍历20K条结果，推荐两种主流方案：

方案一：使用Scroll API（适合批量导出/离线遍历） #

Scroll API的核心是创建一个搜索上下文快照，把当前查询的结果集“冻结”，然后分批拉取，不会受深分页限制。

操作步骤： #

1. 初始化Scroll会话：第一次请求时指定scroll参数（搜索上下文的有效期，比如1分钟），同时设置size=100：

curl -XGET "http://your-es-host:9200/your_index/_search?scroll=1m" -H 'Content-Type: application/json' -d'
{
  "size": 100,
  "query": {
    "match_all": {}  // 替换成你的实际查询条件
  }
}
'

这次请求会返回第一页100条结果，同时会在响应里生成一个_scroll_id，后续请求都要用到它。

2. 循环拉取后续结果：每次请求都带上上一次的_scroll_id，直到返回的hits.hits为空（说明所有数据都遍历完了）：

curl -XGET "http://your-es-host:9200/_search/scroll" -H 'Content-Type: application/json' -d'
{
  "scroll": "1m",  // 每次续期搜索上下文有效期
  "scroll_id": "上一次返回的_scroll_id值"
}
'

3. 清理资源：遍历完成后，手动删除_scroll_id释放ES的内存资源：

curl -XDELETE "http://your-es-host:9200/_search/scroll" -H 'Content-Type: application/json' -d'
{
  "scroll_id": "需要清理的_scroll_id值"
}
'

注意事项： #

• Scroll会占用ES的内存和资源，所以scroll的有效期不要设置太长，只要够你处理完一批结果就行。
• 适合离线批量导出数据，不适合实时查询（因为是快照，期间数据的变更不会反映在结果里）。

方案二：使用Search After（适合实时场景下的顺序遍历） #

Search After是ES推荐的实时深分页方案，它基于上一页最后一条文档的唯一排序值来定位下一页的起点，不会像from/size那样触发大量内存计算。

操作步骤： #

1. 第一次查询：必须指定唯一的排序规则（比如结合时间字段和_id，避免出现排序值相同导致的遗漏/重复），同时设置size=100：

curl -XGET "http://your-es-host:9200/your_index/_search" -H 'Content-Type: application/json' -d'
{
  "size": 100,
  "query": {
    "match_all": {}  // 替换成你的实际查询条件
  },
  "sort": [
    {"create_time": "asc"},  // 你的业务排序字段
    {"_id": "asc"}  // 加上_id确保排序唯一
  ]
}
'

响应里每条文档都会有一个sort数组，取最后一条文档的sort值，就是下一页的起点。

2. 循环拉取后续结果：每次请求带上search_after参数，值为上一页最后一条文档的sort数组：

curl -XGET "http://your-es-host:9200/your_index/_search" -H 'Content-Type: application/json' -d'
{
  "size": 100,
  "query": {
    "match_all": {}
  },
  "sort": [
    {"create_time": "asc"},
    {"_id": "asc"}
  ],
  "search_after": ["2024-05-20T12:00:00Z", "doc_100"]  // 替换成上一页最后一条的sort值
}
'

重复这个过程，直到返回的结果数量不足100（说明已经遍历完所有数据）。

注意事项： #

• 排序规则必须保证唯一，否则可能会出现重复或遗漏的文档。
• 只能顺序遍历，不能跳页（比如直接从第10页跳到第20页）。
• 适合实时场景，因为每次查询都是基于当前最新的数据。

内容的提问来源于stack exchange，提问作者user1187968