OpenSearch中search_after分页在10000条后无法返回预期结果

问题场景 #

使用OpenSearch的search_after实现分页，数据集总计5万条记录。执行以下查询时，前10000条记录返回正常，但后续无法正确获取下一批10000条记录；若将size设为100这类较小数值，分页功能完全符合预期。

查询语句：

{
    "size": 10000,
    "query": {
        "bool": {
            "must": [
                {
                    "match_phrase": {
                        "documentName": {
                            "query": "Mili Config Message",
                            "slop": 0
                        }
                    }
                },
                {
                    "term": {
                        "documentType": {
                            "value": "mil-i"
                        }
                    }
                }
            ]
        }
    },
    "search_after" : [1723209664000],
    "sort": [
        {
            "recordCreatedAt": "desc"
        }
    ]
}

核心原因 #

1. 排序键非唯一：仅用recordCreatedAt排序，大量记录的时间戳完全相同（如数据集中两条记录的sort值均为1725971024000）。当size较大时，search_after无法精准区分重复排序键的记录，导致分页起始位置混乱，返回结果重复或遗漏。
2. 分片结果窗口限制：OpenSearch默认的index.max_result_window参数值为10000，即单个分片最多返回10000条结果。当通过search_after获取超过10000条后的记录时，分片无法提供超出窗口的结果，导致分页异常。

解决办法 #

1. 添加唯一排序字段 #

在排序规则中加入唯一标识字段（如文档_id），确保每条记录的排序组合键唯一。修改后的查询排序部分如下：

"sort": [
  {
    "recordCreatedAt": "desc"
  },
  {
    "_id": "asc"
  }
]

同时，search_after参数需对应调整为包含两个元素的数组，例如：

"search_after" : [1723209664000, "470acf62-1adb-496a-a020-affcc987eb01"]

这样能精准定位下一页的起始位置，彻底解决重复排序键导致的分页错误。

2. 调整分片结果窗口参数 #

若业务必须一次性获取10000条数据，可修改目标索引的index.max_result_window参数，将其设置为覆盖总数据量的值（如50000）。执行以下命令修改：

PUT /naqp-uat-library-index/_settings
{
  "index.max_result_window": 50000
}

注意：此参数会增加分片内存消耗，需根据集群硬件资源合理设置，避免引发性能问题。

3. 改用大规模数据遍历方案 #

如果是批量导出等场景，search_after在大size下的稳定性不如scroll或**Point-in-Time（PIT）**查询，这两种方案专为大规模数据遍历设计，能更可靠地处理5万条级别的分页需求。

内容的提问来源于stack exchange，提问作者Sudharshan Nair