如何通过Elasticsearch查询指定分页的最新排序键？支持超万条数据

默认的from+size分页方式在处理超过10000条数据时会触发Elasticsearch的index.max_result_window默认限制（该参数默认值为10000），不仅会报错，而且性能极差——因为ES需要从所有分片加载前from+size条数据后再截断，数据量越大耗时越长。更关键的是，这种方式无法实时应对新增数据，因为分页位置是基于静态的数据集快照。

要实现支持10000条记录后新增数据的分页，并获取指定分页的最新排序键，推荐使用search_after机制，它依赖上一页最后一条记录的排序值作为游标，每次查询都是基于当前索引的最新状态，完美适配数据新增场景。

核心要点 #

1. 必须使用唯一排序字段：为了避免排序冲突（比如多条记录有相同的时间戳），需要组合一个唯一的排序键，例如时间戳字段 + _id（_id在索引中唯一）。
2. 页码定位的限制：search_after本身是游标式分页，不支持直接跳转到指定页码——因为新增数据会改变原有分页的位置（比如新增10条数据后，原第5页的内容可能被挤到第6页）。如果一定要通过页码获取对应分页的排序键，需要先遍历前面的页码获取游标，再查询目标页。

具体实现示例 #

假设你的索引为orders，每页大小为10，排序字段为create_time（降序，最新数据在前），结合_id保证唯一性。

步骤1：获取第一页的最后排序键

GET /orders/_search
{
  "size": 10,
  "sort": [
    {"create_time": "desc"},
    {"_id": "desc"}
  ],
  "fields": ["create_time", "_id"] // 只返回需要的排序字段，减少数据传输
}

从返回结果的hits.hits最后一条中提取sort数组值，比如["2024-05-20T14:30:00Z", "order_1000"]——这就是第一页的最后排序键。

步骤2：获取目标页码的排序键

比如要获取第1001页（对应10001-10010条数据，超过10000限制）的最后排序键，需要用前一页（第1000页）的最后排序键作为search_after参数：

GET /orders/_search
{
  "size": 10,
  "search_after": ["2024-05-10T09:00:00Z", "order_10000"], // 第1000页最后一条的排序值
  "sort": [
    {"create_time": "desc"},
    {"_id": "desc"}
  ],
  "fields": ["create_time", "_id"]
}

返回结果的hits.hits最后一条的sort数组，就是你要的第1001页对应的最新排序键。

注意事项 #

• 如果业务允许，尽量避免直接按页码跳转分页，而是采用“下一页”的游标式交互（比如列表底部的加载更多按钮），这样既符合search_after的设计逻辑，也能保证数据的实时性。
• 如果必须支持页码跳转，需要接受“页码对应的数据可能因新增/删除而动态变化”的事实——这是实时数据场景下的正常现象，from+size的静态分页反而会返回过时的结果。

内容的提问来源于stack exchange，提问作者Doyel Mishra