You need to enable JavaScript to run this app. 基于Bootstrap、Ajax和Laravel实现文件上传及数据导入真实进度条的问题
优惠活动
大模型
产品
解决方案
定价
更多

基于Bootstrap、Ajax和Laravel实现文件上传及数据导入真实进度条的问题

问题根源

你当前使用的xhr.upload.addEventListener('progress')只能监听文件上传到服务器的进度,69000行的CSV本身体积很小,几秒就能上传完成,所以会直接跳到100%。而真正耗时的「CSV解析、数据写入数据库」步骤是在服务器端完成的,这部分进度默认无法通过上传进度监听获取。


可行解决方案(队列+轮询,稳定性最高)

核心逻辑是把导入任务放到异步队列执行,同时在缓存中记录处理进度,前端轮询查询进度更新进度条,同时可以通过批量插入大幅提升导入速度:

1. 后端改造步骤

  • 新增文件上传接口:接收CSV文件后生成唯一任务ID,统计CSV总行数存入缓存,把导入任务丢到异步队列
  • 新增导入队列任务:批量处理CSV数据插入,每处理一批就更新缓存中的已处理行数
  • 新增进度查询接口:根据前端传入的任务ID返回当前处理进度百分比

2. 代码示例

上传接口代码
// 上传接收路由对应的方法
public function upload(Request $request)
{
    // 生成唯一任务标识
    $taskId = uniqid('csv_import_');
    $file = $request->file('csv_file');
    $savePath = $file->store('temp_csv');
    
    // 提前统计CSV总行数(减去表头行)
    $totalRows = count(file(storage_path('app/'.$savePath))) - 1;
    // 进度存入缓存,有效期1小时
    Cache::put($taskId.'_total', $totalRows, 3600);
    Cache::put($taskId.'_processed', 0, 3600);
    
    // 分发异步导入任务
    ImportCsvTask::dispatch($taskId, $savePath);
    
    return response()->json(['task_id' => $taskId]);
}
导入队列任务代码
// 新建队列任务类
class ImportCsvTask implements ShouldQueue
{
    use Dispatchable, InteractsWithQueue, Queueable, SerializesModels;
    
    protected $taskId;
    protected $filePath;
    // 批量插入大小,可根据服务器性能调整为100-500
    protected $batchSize = 200;

    public function __construct($taskId, $filePath)
    {
        $this->taskId = $taskId;
        $this->filePath = $filePath;
    }

    public function handle()
    {
        $fp = fopen(storage_path('app/'.$this->filePath), 'r');
        // 跳过表头
        fgetcsv($fp, 4096, ';', '"');
        $header = ['nomape', 'direccion', 'cp', 'ciudad', 'provincia', 'telefono', 'movil'];
        
        $processed = 0;
        $insertBatch = [];

        while($column = fgetcsv($fp, 8192, ';', '"'))
        {
            $columns = [];
            foreach ($column as $val) {
                $columns[] = $this->delete_accent($val);
            }
            $insertBatch[] = array_combine($header, $columns);
            $processed++;

            // 攒够批量大小就执行插入,同时更新进度
            if(count($insertBatch) >= $this->batchSize) {
                Listado::insert($insertBatch);
                $insertBatch = [];
                Cache::put($this->taskId.'_processed', $processed, 3600);
            }
        }

        // 插入剩余不满批量的行
        if(!empty($insertBatch)) {
            Listado::insert($insertBatch);
        }
        Cache::put($this->taskId.'_processed', $processed, 3600);
        fclose($fp);
    }

    // 把你原有去重音的方法移到这里即可
    protected function delete_accent($val)
    {
        // 原有逻辑
    }
}
进度查询接口代码
public function getImportProgress(Request $request)
{
    $taskId = $request->input('task_id');
    $total = Cache::get($taskId.'_total', 0);
    $processed = Cache::get($taskId.'_processed', 0);
    $percent = $total > 0 ? round(($processed / $total) * 100, 2) : 0;
    return response()->json([
        'percent' => $percent,
        'is_done' => $percent >= 100
    ]);
}

3. 前端改造代码

// 上传文件成功后启动轮询查询进度
$.ajax({
    url: '/upload',
    type: 'POST',
    data: formData, // 包含CSV文件的表单数据
    contentType: false,
    processData: false,
    success: function(res) {
        const taskId = res.task_id;
        // 每1秒查询一次进度,可根据需求调整间隔
        const progressPoll = setInterval(() => {
            $.get('/get-import-progress', {task_id: taskId}, function(progressRes) {
                // 这里替换为你自己的进度条更新逻辑
                console.log('当前进度:' + progressRes.percent + '%');
                // 导入完成后停止轮询
                if(progressRes.is_done) {
                    clearInterval(progressPoll);
                    alert('导入完成');
                }
            })
        }, 1000);
    }
})

注意事项

  • 提前配置好Laravel的队列服务,启动队列处理器后任务才会执行
  • 批量插入的方案相比你原有逐行插入的逻辑,导入速度可以提升5-10倍,69000行数据一般10秒内就能处理完成
  • 如果不想用队列,也可以用SSE(服务器推送事件)实时推送进度,但是长连接容易受PHP超时、服务器输出缓冲配置影响,稳定性不如队列+轮询的方案

内容的提问来源于stack exchange,提问作者scorpions78

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.08 04:24:03