如何在Laravel与Elasticsearch中实现超1万条数据的分页？

Elasticsearch默认的from+size分页存在max_result_window限制（默认10000条），超过这个阈值会报错。针对超1万条数据的分页，推荐以下两种方案：

方案一：Search After（推荐用于用户交互的实时分页） #

Search After通过上一页最后一条数据的排序值定位下一页起始位置，无1万条数据限制，性能更优，但仅支持逐页翻页，无法直接跳转到任意页码。

实现步骤： #

1. 首次查询指定唯一排序规则（需包含唯一字段如_id，避免数据重复/遗漏），并获取每页数据；
2. 提取当前页最后一条数据的排序值，作为下一页查询的search_after参数；
3. 后续查询通过search_after参数获取下一页数据。

Laravel代码示例： #

控制器逻辑

use Elasticsearch\ClientBuilder;
use Illuminate\Http\Request;

public function getList(Request $request)
{
    // 初始化ES客户端（可封装到服务提供者）
    $client = ClientBuilder::create()->setHosts(config('elasticsearch.hosts'))->build();
    
    $pageSize = 15; // 每页条数
    $searchAfter = $request->input('search_after');
    
    $params = [
        'index' => 'my_index',
        'body' => [
            'size' => $pageSize,
            'query' => [
                'match' => [
                    'testField' => 'abc'
                ]
            ],
            // 排序规则：必须包含唯一字段确保排序唯一
            'sort' => [
                'created_at' => 'desc',
                '_id' => 'asc'
            ]
        ]
    ];
    
    // 若存在上一页的排序值，添加search_after参数
    if ($searchAfter) {
        $params['body']['search_after'] = json_decode($searchAfter, true);
    }
    
    $response = $client->search($params);
    $list = $response['hits']['hits'];
    // 获取当前页最后一条数据的排序值，用于下一页
    $lastSort = !empty($list) ? end($list)['sort'] : null;
    
    return view('es-list', compact('list', 'lastSort'));
}

视图分页链接

{{-- 下一页按钮 --}}
@if($lastSort)
    <a href="{{ route('es.list', ['search_after' => json_encode($lastSort)]) }}">下一页</a>
@endif

方案二：Scroll API（适合批量数据处理） #

Scroll API会创建查询结果的快照，后续基于快照分页获取数据，适合批量导出、数据迁移等场景，但不支持实时数据更新（快照创建后的数据变更不会同步到结果）。

Laravel代码示例： #

use Elasticsearch\ClientBuilder;

public function batchProcess()
{
    $client = ClientBuilder::create()->setHosts(config('elasticsearch.hosts'))->build();
    
    // 初始化Scroll，设置快照过期时间（如1分钟）
    $params = [
        'index' => 'my_index',
        'scroll' => '1m',
        'size' => 1000, // 每次批量获取的条数
        'body' => [
            'query' => [
                'match' => [
                    'testField' => 'abc'
                ]
            ]
        ]
    ];
    
    $response = $client->search($params);
    $scrollId = $response['_scroll_id'];
    
    // 循环获取所有分页数据
    while (true) {
        $scrollParams = [
            'scroll_id' => $scrollId,
            'scroll' => '1m'
        ];
        
        $response = $client->scroll($scrollParams);
        
        // 无更多数据时退出循环
        if (empty($response['hits']['hits'])) {
            break;
        }
        
        // 处理当前批次数据
        foreach ($response['hits']['hits'] as $item) {
            // 执行你的业务逻辑，如数据导出、入库等
        }
        
        $scrollId = $response['_scroll_id'];
    }
    
    // 清理Scroll上下文，释放ES资源
    $client->clearScroll(['scroll_id' => $scrollId]);
    
    return '批量处理完成';
}

内容的提问来源于stack exchange，提问作者ebrahim