Laravel Excel导入80万+行CSV遇PostTooLargeException问题求助

问题描述 #

尝试用Laravel Excel导入80万+条记录的CSV文件，调整过不同分块大小，但处理数分钟后仍弹出PostTooLargeException错误。目前仅将数据块存入jobs表，后续转存其他表，小文件处理正常，大文件报错。

相关代码 #

导入类代码：

class UsersImport implements ToCollection, WithHeadingRow, WithChunkReading, ShouldQueue
{
/**
* @param array $row
*
* @return \Illuminate\Database\Eloquent\Model|null
*/
public function collection(Collection $rows)
{
        foreach ($rows as $row) {
           // 自定义处理代码...
            ]);
        }
    }
    public function chunkSize(): int
    {
        return 1500;
    }
}

控制器代码：

public function index(Request $request)
{
    $file = $request->file('file')->store('imports');
    Excel::import(new UsersImport, $file);
}

解决方案 #

1. 修正PHP与服务器的上传大小限制

PostTooLargeException核心原因是上传文件超出了PHP和Web服务器的配置上限，和分块处理是独立问题，先搞定基础配置：

• 修改php.ini文件（路径根据你的环境调整，比如/etc/php/8.1/fpm/php.ini）：

  upload_max_filesize = 200M    # 设为比你的CSV文件大的值，比如文件150M就设200M
  post_max_size = 220M          # 必须大于等于upload_max_filesize
  max_execution_time = 300      # 延长脚本执行时间，避免上传阶段超时
  max_input_time = 300
  memory_limit = 512M           # 提高内存限制，防止读取大文件时内存不足
  

• 如果用Nginx，修改站点配置或nginx.conf，添加/调整：

  client_max_body_size 200M;
  

• 修改后重启PHP-FPM和Nginx服务。

2. 优化队列Worker的运行参数

因为导入类实现了ShouldQueue，队列Worker处理大Chunk时容易出现内存溢出或超时，调整启动参数：

php artisan queue:work --max-memory=512 --timeout=120 --sleep=3

• --max-memory=512：限制单个队列任务最多使用512M内存
• --timeout=120：单个任务超时时间设为120秒
• --sleep=3：无任务时休眠3秒，减少资源消耗

同时可以适当调小chunkSize，比如从1500改成500或800，过大的Chunk会让单个队列任务占用过多内存，反而降低稳定性。

3. 优化批量插入逻辑

避免在collection里循环单条插入jobs表，改成批量插入，大幅提升效率并减少数据库压力：

public function collection(Collection $rows)
{
    $jobRecords = $rows->map(function ($row) {
        // 处理单条记录，组装jobs表需要的数据
        return [
            'payload' => json_encode($row), // 示例字段，根据你的jobs表结构调整
            'queue' => 'import-processing',
            'created_at' => now(),
            'updated_at' => now()
        ];
    });

    // 批量插入，每1000条分一次批
    $jobRecords->chunk(1000)->each(function ($chunk) {
        DB::table('jobs')->insert($chunk->toArray());
    });
}

4. 补充检查项

• 确认控制器中$request->file('file')->store('imports')成功将文件存入了指定存储位置，Laravel Excel能正常读取该文件
• 若CSV文件过大，可考虑让用户先将文件压缩成ZIP格式，导入时先解压再处理（需额外添加解压逻辑）

内容的提问来源于stack exchange，提问作者superNoah