如何从REST API端点提取10000条以上Elasticsearch结果

针对你当前通过封装REST API访问Elasticsearch，无法一次性获取超过10000条结果的问题，利用Elasticsearch的Scroll机制是最优解，结合该API的_startScroll端点及配套续接接口即可实现全量数据获取，步骤如下：

1. 发起初始Scroll请求，获取第一批结果与Scroll ID #

调用你的_startScroll端点，保持原查询条件不变，limit设为单次批次大小（建议保持10000，匹配API当前上限，也可根据ES集群性能调整）：

请求地址：

POST https://api.qa.my-server.com/abc/def/order/_startScroll?offset=0&limit=10000&fields=

请求体：

{
    "@type": "SearchDetails",
    "@baseType": "SearchDetails",
    "@schemaLocation": "",
    "name": "myStuff",
    "filter": [
        {
            "@type": "FilterGroup",
            "@baseType": "FilterGroup",
            "@schemaLocation": "",
            "filter": [
                {
                    "@type": "AttributeFilter",
                    "@baseType": "AttributeFilter",
                    "@schemaLocation": "",
                    "field": "source.sourceSystemId",
                    "value": [
                        "test"
                    ],
                    "operator": "eq",
                    "caseInsensitive": "true"
                },
                {
                    "@type": "AttributeFilter",
                    "@baseType": "AttributeFilter",
                    "@schemaLocation": "",
                    "field": "lastUpdated",
                    "value": [
                        "2023-05-06T16:35:00"
                    ],
                    "operator": "gte",
                    "caseInsensitive": "true"
                }
            ],
            "groupOperator": "AND",
            "groupModifier": "null"
        }
    ],
    "sort": [
        {
            "field": "source.orderDate",
            "direction": "DESC"
        }
    ]
}

该请求响应中会包含第一批10000条结果，以及一个用于续查的scroll_id（或类似命名的标识字段，如scrollToken），需留存该值用于后续请求。

2. 循环调用Scroll续接接口，获取剩余结果 #

找到该API对应的Scroll续接端点（通常命名为_scroll，地址类似https://api.qa.my-server.com/abc/def/order/_scroll），发起POST请求，传入之前获取的scroll_id，并指定Scroll上下文的过期时间（比如1m，确保批次处理期间上下文不会被ES回收）：

示例请求（需根据API实际要求调整）：

POST https://api.qa.my-server.com/abc/def/order/_scroll

请求体：

{
    "scroll_id": "这里替换为初始请求返回的scroll_id",
    "scroll": "1m"
}

每次调用后处理当前批次的结果，重复此步骤直到响应返回的结果集为空，此时说明所有百万级数据已全部获取。

关键注意事项 #

• 批次大小：单次limit不要设置过大，避免ES节点内存压力过高，10000是当前API允许的最大值，可直接沿用。
• Scroll过期时间：设置足够覆盖单批次处理的时间即可，无需过长，避免占用ES过多资源。
• 排序一致性：原查询中的source.orderDate DESC排序会被Scroll机制保留，确保全量结果无重复、无遗漏。
• 资源清理：若中途终止数据获取，建议调用_clear_scroll接口（若API提供）传入scroll_id，主动释放ES的Scroll上下文资源。

内容的提问来源于stack exchange，提问作者fsssaiyan