基于Bootstrap、Ajax和Laravel实现文件上传及数据导入真实进度条的问题
问题根源
你当前使用的xhr.upload.addEventListener('progress')只能监听文件上传到服务器的进度,69000行的CSV本身体积很小,几秒就能上传完成,所以会直接跳到100%。而真正耗时的「CSV解析、数据写入数据库」步骤是在服务器端完成的,这部分进度默认无法通过上传进度监听获取。
可行解决方案(队列+轮询,稳定性最高)
核心逻辑是把导入任务放到异步队列执行,同时在缓存中记录处理进度,前端轮询查询进度更新进度条,同时可以通过批量插入大幅提升导入速度:
1. 后端改造步骤
- 新增文件上传接口:接收CSV文件后生成唯一任务ID,统计CSV总行数存入缓存,把导入任务丢到异步队列
- 新增导入队列任务:批量处理CSV数据插入,每处理一批就更新缓存中的已处理行数
- 新增进度查询接口:根据前端传入的任务ID返回当前处理进度百分比
2. 代码示例
上传接口代码
// 上传接收路由对应的方法 public function upload(Request $request) { // 生成唯一任务标识 $taskId = uniqid('csv_import_'); $file = $request->file('csv_file'); $savePath = $file->store('temp_csv'); // 提前统计CSV总行数(减去表头行) $totalRows = count(file(storage_path('app/'.$savePath))) - 1; // 进度存入缓存,有效期1小时 Cache::put($taskId.'_total', $totalRows, 3600); Cache::put($taskId.'_processed', 0, 3600); // 分发异步导入任务 ImportCsvTask::dispatch($taskId, $savePath); return response()->json(['task_id' => $taskId]); }
导入队列任务代码
// 新建队列任务类 class ImportCsvTask implements ShouldQueue { use Dispatchable, InteractsWithQueue, Queueable, SerializesModels; protected $taskId; protected $filePath; // 批量插入大小,可根据服务器性能调整为100-500 protected $batchSize = 200; public function __construct($taskId, $filePath) { $this->taskId = $taskId; $this->filePath = $filePath; } public function handle() { $fp = fopen(storage_path('app/'.$this->filePath), 'r'); // 跳过表头 fgetcsv($fp, 4096, ';', '"'); $header = ['nomape', 'direccion', 'cp', 'ciudad', 'provincia', 'telefono', 'movil']; $processed = 0; $insertBatch = []; while($column = fgetcsv($fp, 8192, ';', '"')) { $columns = []; foreach ($column as $val) { $columns[] = $this->delete_accent($val); } $insertBatch[] = array_combine($header, $columns); $processed++; // 攒够批量大小就执行插入,同时更新进度 if(count($insertBatch) >= $this->batchSize) { Listado::insert($insertBatch); $insertBatch = []; Cache::put($this->taskId.'_processed', $processed, 3600); } } // 插入剩余不满批量的行 if(!empty($insertBatch)) { Listado::insert($insertBatch); } Cache::put($this->taskId.'_processed', $processed, 3600); fclose($fp); } // 把你原有去重音的方法移到这里即可 protected function delete_accent($val) { // 原有逻辑 } }
进度查询接口代码
public function getImportProgress(Request $request) { $taskId = $request->input('task_id'); $total = Cache::get($taskId.'_total', 0); $processed = Cache::get($taskId.'_processed', 0); $percent = $total > 0 ? round(($processed / $total) * 100, 2) : 0; return response()->json([ 'percent' => $percent, 'is_done' => $percent >= 100 ]); }
3. 前端改造代码
// 上传文件成功后启动轮询查询进度 $.ajax({ url: '/upload', type: 'POST', data: formData, // 包含CSV文件的表单数据 contentType: false, processData: false, success: function(res) { const taskId = res.task_id; // 每1秒查询一次进度,可根据需求调整间隔 const progressPoll = setInterval(() => { $.get('/get-import-progress', {task_id: taskId}, function(progressRes) { // 这里替换为你自己的进度条更新逻辑 console.log('当前进度:' + progressRes.percent + '%'); // 导入完成后停止轮询 if(progressRes.is_done) { clearInterval(progressPoll); alert('导入完成'); } }) }, 1000); } })
注意事项
- 提前配置好Laravel的队列服务,启动队列处理器后任务才会执行
- 批量插入的方案相比你原有逐行插入的逻辑,导入速度可以提升5-10倍,69000行数据一般10秒内就能处理完成
- 如果不想用队列,也可以用SSE(服务器推送事件)实时推送进度,但是长连接容易受PHP超时、服务器输出缓冲配置影响,稳定性不如队列+轮询的方案
内容的提问来源于stack exchange,提问作者scorpions78
相关产品推荐
相关产品推荐

