ElasticSearch超10000文档分页：如何获取20000~20050区间文档？

针对无法通过from/size直接获取10000条以后区间文档的问题，以下是几种可行的方案：

方案1：使用Scroll API（适合离线批量处理） #

Scroll API通过创建数据快照，支持按批次拉取数据，可先跳过前20000条再获取目标区间：

1. 初始化Scroll，仅返回排序字段以减少开销：

GET /_search?scroll=1m
{
  "size": 20000,
  "query": {
    "match": {
      "user.id": "kid"
    }
  },
  "_source": false,
  "sort": ["_doc"]
}

2. 用返回的scroll_id执行Scroll请求，跳过前20000条：

GET /_search/scroll
{
  "scroll": "1m",
  "scroll_id": "你的scroll_id"
}

3. 再次执行上述Scroll请求，截取前50条即为20000~20050区间的文档。
4. 处理完成后记得清理Scroll上下文：

DELETE /_search/scroll
{
  "scroll_id": "你的scroll_id"
}

方案2：Point in Time（PIT）+ Search_after（适合准实时场景） #

结合PIT创建数据快照，通过多次Search_after批量跳过前20000条：

1. 创建PIT：

POST /_pit?keep_alive=1m
{
  "index": "你的目标索引名"
}

2. 首次执行Search_after，每次拉取1000条，用_doc排序：

GET /_search
{
  "size": 1000,
  "query": {
    "match": {
      "user.id": "kid"
    }
  },
  "sort": ["_doc"],
  "pit": {
    "id": "你的pit_id",
    "keep_alive": "1m"
  }
}

3. 循环执行20次Search_after，每次用上一次结果最后一条的sort值作为search_after参数，直到跳过20000条。
4. 第21次查询设置size=50，即可获取目标区间文档。
5. 清理PIT资源：

DELETE /_pit
{
  "id": "你的pit_id"
}

方案3：预生成连续排序字段（适合高频跳转场景） #

在文档写入时维护一个连续自增的字段（如sequence_id），直接通过范围查询定位目标区间：

• 写入时为每个文档添加唯一连续的sequence_id字段。
• 查询时通过布尔组合过滤目标区间：

GET /_search
{
  "size": 50,
  "query": {
    "bool": {
      "must": [
        {"match": {"user.id": "kid"}},
        {"range": {"sequence_id": {"gte": 20000, "lte": 20050}}}
      ]
    }
  }
}

注意事项 #

• 使用_doc排序是最高效的方式，无需额外计算排序值，适合批量跳过场景。
• Scroll和PIT都会占用ES资源，处理完成后务必及时清理上下文。
• 实时查询优先选择预生成排序字段方案，离线批量处理优先考虑Scroll或PIT+Search_after。

内容的提问来源于stack exchange，提问作者Redwings