Laravel中如何基于offset循环拉取分页JSON响应并集成Ajax进度条
分页循环拉取实现
先基于接口返回的结构拆解拉取规则:接口通过offset参数控制数据偏移,单页固定返回100条记录,返回值中total为全量数据总条数,分页拉取的核心逻辑围绕偏移量递增、直到拉满总数据量展开。
- 首先拉取第一页数据,提取总条数
total,作为后续循环终止的判断依据 - 循环从偏移量100开始,每次请求携带当前offset参数,将返回的
products数组合并到全量数据集合中 - 每次拉取完成后将偏移量增加100,直到偏移量大于等于总条数时停止循环
核心拉取代码示例:
// 配置单页分页大小 $pageSize = 100; $allProducts = collect(); // 拉取第一页获取全量总数据量 $firstResponse = Http::withBasicAuth('myusername','mypassword') ->get('http://api.sample.com/users', ['offset' => 0]); $firstData = $firstResponse->json(); $totalCount = $firstData['total']; // 合并第一页数据到全量集合 $allProducts->push(...$firstData['products']); // 从下一页开始循环拉取 $offset = $pageSize; while ($offset < $totalCount) { $pageResponse = Http::withBasicAuth('myusername','mypassword') ->get('http://api.sample.com/users', ['offset' => $offset]); $pageData = $pageResponse->json(); // 合并当前页数据 $allProducts->push(...$pageData['products']); // 偏移量递增一个分页大小 $offset += $pageSize; }
拉取进度百分比展示
根据运行场景分两种实现方式:
命令行/Artisan任务场景
直接使用Laravel内置的进度条组件,全程在终端展示拉取进度,不需要额外存储状态:
// 在Artisan命令类中初始化进度条,总长度为全量数据总条数 $progressBar = $this->output->createProgressBar($totalCount); // 设置进度条展示格式为百分比 $progressBar->setFormat('拉取进度: %current%/%max% [%bar%] %percent:3s%%'); // 拉取第一页后更新进度 $progressBar->advance(count($firstData['products'])); // 循环拉取每页时更新进度 while ($offset < $totalCount) { // 原有分页请求逻辑 $progressBar->advance(count($pageData['products'])); } $progressBar->finish();
Web页面用户交互场景
因为HTTP请求存在超时限制,不能让用户在页面干等全量拉取完成,通常将拉取逻辑放到队列任务中,通过缓存同步当前进度,前端定时轮询获取进度百分比展示:
- 拉取任务启动时,在缓存中初始化当前用户对应的进度值为0
- 每拉取完一页数据,计算当前已拉取条数占总条数的百分比,更新到缓存中
- 单独提供进度查询接口,前端每隔1-2秒请求一次接口拿到最新百分比展示
// 拉取逻辑中更新进度的示例 $currentProgress = round($allProducts->count() / $totalCount * 100); Cache::put('user_pull_progress_' . auth()->id(), $currentProgress, now()->addMinutes(30)); // 进度查询接口示例 public function getPullProgress() { return response()->json([ 'percent' => Cache::get('user_pull_progress_' . auth()->id(), 0) ]); }
全量数据合并与JSON文件下载
所有分页数据拉取完成后,将集合转为标准JSON格式,通过响应返回给用户下载,同时清理临时文件避免占用磁盘:
// 将全量集合转为JSON,保留中文不转义 $jsonContent = $allProducts->toJson(JSON_UNESCAPED_UNICODE); // 生成带时间戳的文件名 $fileName = '全量用户数据_' . date('YmdHis') . '.json'; // 将JSON内容存到本地临时磁盘 Storage::disk('local')->put($fileName, $jsonContent); // 返回下载响应,发送完成后自动删除临时文件 return response()->download( storage_path('app/' . $fileName), $fileName, ['Content-Type' => 'application/json'] )->deleteFileAfterSend(true);
注意事项
- 数据量较大时不要把全量数据全部加载到内存,可采用边拉取边追加写入临时JSON文件的方式,降低内存占用
- 接口请求增加失败重试机制,遇到网络超时、5xx错误时自动重试2-3次,避免单次请求失败导致全量拉取中断
- Web场景下优先将拉取逻辑异步化,不要让用户的点击请求一直阻塞等待拉取完成,拉取结束后可通过站内通知引导用户下载文件
内容的提问来源于stack exchange,提问作者Pal3 Kuno
相关产品推荐
相关产品推荐

