You need to enable JavaScript to run this app. Laravel中如何基于offset循环拉取分页JSON响应并集成Ajax进度条
优惠活动
大模型
产品
解决方案
定价
更多

Laravel中如何基于offset循环拉取分页JSON响应并集成Ajax进度条

分页循环拉取实现

先基于接口返回的结构拆解拉取规则:接口通过offset参数控制数据偏移,单页固定返回100条记录,返回值中total为全量数据总条数,分页拉取的核心逻辑围绕偏移量递增、直到拉满总数据量展开。

  • 首先拉取第一页数据,提取总条数total,作为后续循环终止的判断依据
  • 循环从偏移量100开始,每次请求携带当前offset参数,将返回的products数组合并到全量数据集合中
  • 每次拉取完成后将偏移量增加100,直到偏移量大于等于总条数时停止循环

核心拉取代码示例:

// 配置单页分页大小
$pageSize = 100;
$allProducts = collect();
// 拉取第一页获取全量总数据量
$firstResponse = Http::withBasicAuth('myusername','mypassword')
    ->get('http://api.sample.com/users', ['offset' => 0]);
$firstData = $firstResponse->json();
$totalCount = $firstData['total'];
// 合并第一页数据到全量集合
$allProducts->push(...$firstData['products']);
// 从下一页开始循环拉取
$offset = $pageSize;
while ($offset < $totalCount) {
    $pageResponse = Http::withBasicAuth('myusername','mypassword')
        ->get('http://api.sample.com/users', ['offset' => $offset]);
    $pageData = $pageResponse->json();
    // 合并当前页数据
    $allProducts->push(...$pageData['products']);
    // 偏移量递增一个分页大小
    $offset += $pageSize;
}
拉取进度百分比展示

根据运行场景分两种实现方式:

命令行/Artisan任务场景

直接使用Laravel内置的进度条组件,全程在终端展示拉取进度,不需要额外存储状态:

// 在Artisan命令类中初始化进度条,总长度为全量数据总条数
$progressBar = $this->output->createProgressBar($totalCount);
// 设置进度条展示格式为百分比
$progressBar->setFormat('拉取进度: %current%/%max% [%bar%] %percent:3s%%');
// 拉取第一页后更新进度
$progressBar->advance(count($firstData['products']));
// 循环拉取每页时更新进度
while ($offset < $totalCount) {
    // 原有分页请求逻辑
    $progressBar->advance(count($pageData['products']));
}
$progressBar->finish();

Web页面用户交互场景

因为HTTP请求存在超时限制,不能让用户在页面干等全量拉取完成,通常将拉取逻辑放到队列任务中,通过缓存同步当前进度,前端定时轮询获取进度百分比展示:

  • 拉取任务启动时,在缓存中初始化当前用户对应的进度值为0
  • 每拉取完一页数据,计算当前已拉取条数占总条数的百分比,更新到缓存中
  • 单独提供进度查询接口,前端每隔1-2秒请求一次接口拿到最新百分比展示
// 拉取逻辑中更新进度的示例
$currentProgress = round($allProducts->count() / $totalCount * 100);
Cache::put('user_pull_progress_' . auth()->id(), $currentProgress, now()->addMinutes(30));
// 进度查询接口示例
public function getPullProgress()
{
    return response()->json([
        'percent' => Cache::get('user_pull_progress_' . auth()->id(), 0)
    ]);
}
全量数据合并与JSON文件下载

所有分页数据拉取完成后,将集合转为标准JSON格式,通过响应返回给用户下载,同时清理临时文件避免占用磁盘:

// 将全量集合转为JSON,保留中文不转义
$jsonContent = $allProducts->toJson(JSON_UNESCAPED_UNICODE);
// 生成带时间戳的文件名
$fileName = '全量用户数据_' . date('YmdHis') . '.json';
// 将JSON内容存到本地临时磁盘
Storage::disk('local')->put($fileName, $jsonContent);
// 返回下载响应,发送完成后自动删除临时文件
return response()->download(
    storage_path('app/' . $fileName),
    $fileName,
    ['Content-Type' => 'application/json']
)->deleteFileAfterSend(true);

注意事项

  • 数据量较大时不要把全量数据全部加载到内存,可采用边拉取边追加写入临时JSON文件的方式,降低内存占用
  • 接口请求增加失败重试机制,遇到网络超时、5xx错误时自动重试2-3次,避免单次请求失败导致全量拉取中断
  • Web场景下优先将拉取逻辑异步化,不要让用户的点击请求一直阻塞等待拉取完成,拉取结束后可通过站内通知引导用户下载文件

内容的提问来源于stack exchange,提问作者Pal3 Kuno

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.13 01:15:03