Elasticsearch多次请求重复排序耗时，如何实现一次排序高效拉取？

你提到的重复排序导致的性能瓶颈，用Point in Time（PIT）+ Search After就能解决，而且完全可以维持固定的排序顺序，具体方案如下：

核心原理 #

PIT会创建目标索引的只读数据快照，在快照有效期内，数据的状态（包括排序后的位置）完全固定，不受索引的新增、修改、删除操作影响。结合Search After使用时，第一次查询会基于快照完成全量排序，后续所有查询仅需基于上次的游标（search_after值）在已排序的快照结果中继续拉取，无需重复执行全量排序操作，能大幅降低耗时。

具体操作步骤 #

1. 创建PIT快照
   先为目标索引创建PIT，根据拉取百万条数据的预估耗时设置合适的过期时间（比如1小时）：

   PUT /_pit?index=你的索引名&keep_alive=1h
   

   执行后会返回一个pit_id，后续所有查询都需要用到这个ID。

2. 首次拉取数据
   基于PIT ID发起第一次查询，指定排序规则和单次拉取条数：

   GET /_search
   {
     "pit": {"id": "你的pit_id"},
     "sort": [{"timestamp": "asc"}],
     "size": 10000
   }
   

   记录返回结果中最后一条数据的sort数组值，作为下一次查询的search_after参数。

3. 后续批量拉取
   每次查询带上PIT ID和上次的search_after值，无需重复指定索引和排序规则（排序逻辑已由PIT快照固定）：

   GET /_search
   {
     "pit": {"id": "你的pit_id"},
     "search_after": ["上次最后一条的timestamp值"],
     "size": 10000
   }
   

   重复此步骤直到拉取完所有数据。

4. 清理PIT资源
   拉取完成后，务必删除PIT以释放ES集群资源：

   DELETE /_pit?id=你的pit_id
   

额外优化建议 #

• 确保timestamp字段开启了doc_values（默认开启），ES可直接使用磁盘上的有序结构排序，避免内存排序开销。
• 单次拉取的size值可根据ES节点内存配置适当调整（比如20000），减少请求次数进一步提升效率。
• 如果拉取期间索引完全只读，也可以考虑使用scroll API，但官方更推荐PIT+Search After的组合，因为它更灵活且资源占用更可控。

内容的提问来源于stack exchange，提问作者R Lyon