Laravel结果分块操作引发排序内存不足问题及优化咨询

算力阿峰

2026-6-29

问题描述

从前端API接收一个超大JSON，转换为数组后约有12k条数据，每条包含大量内容。将其存入数据库的JSON字段后，启动Laravel队列任务：取出该JSON并转为数组，遍历创建对应记录，这部分单独运行完全正常。但加入chunk分块查询代码后，开始抛出“Out of sort memory”错误，后续甚至连任务第一部分都出现内存分配失败，执行php artisan cache:clear后恢复正常。需要优化解决该问题。

代码示例：

// $this->import为数据库模型，data自动转为数组的超大JSON
$this->import->data->each(function ($site, $key) {
    // 调用Item::create([])为每条数据创建模型
    $this->createItem($site);
});

WebsiteImportItem::query()
    ->byImport($this->import)
    ->chunk(1000, function(Collection $items) {
         $items->each(function(WebsiteImportItem $item) {
             // 测试时此部分为注释
             // $this->setCurrentSite($item)->validate();
         });
   });

优化解决方案

缩小chunk分块大小
将chunk的1000调整为更小的值（比如200或500），减少单次加载到内存中的模型数量。Laravel的chunk依赖全局排序实现分块，数据量越大排序占用内存越高，缩小分块能直接降低排序阶段的内存压力。

改用chunkById替代chunk
chunk需要对全量查询结果排序后分块，而chunkById基于主键ID范围分块，无需全局排序，内存消耗更低。修改代码如下：

WebsiteImportItem::query()
    ->byImport($this->import)
    ->chunkById(500, function(Collection $items) {
         $items->each(function(WebsiteImportItem $item) {
             // 业务逻辑
         });
    });

取消模型不必要的自动加载
如果WebsiteImportItem模型默认加载了无关的关联关系，用without()方法禁用自动加载，减少单个模型实例的内存占用：
```
WebsiteImportItem::query()
    ->without(['unrelatedRelation'])
    ->byImport($this->import)
    ->chunkById(500, function(Collection $items) {
         // ...
    });
```

手动触发PHP垃圾回收
在循环或分块回调末尾，调用gc_collect_cycles()主动释放不再使用的内存，避免内存持续累积：

$this->import->data->each(function ($site, $key) {
    $this->createItem($site);
    // 每处理200条数据触发一次回收
    if ($key % 200 === 0) {
        gc_collect_cycles();
    }
});

WebsiteImportItem::query()
    ->byImport($this->import)
    ->chunkById(500, function(Collection $items) {
         $items->each(function(WebsiteImportItem $item) {
             // ...
         });
         gc_collect_cycles();
    });

优化MySQL排序配置
若“Out of sort memory”是MySQL层面的错误，可临时调大sort_buffer_size和read_rnd_buffer_size参数（注意不超过服务器内存上限）；或者在查询中显式添加ORDER BY id，让MySQL使用主键索引排序，减少内存消耗。
拆分队列任务
将原单任务拆分为两个独立队列任务：第一个负责从JSON创建记录，第二个负责后续分块处理。避免两个阶段的内存占用叠加，降低单任务内存峰值。

内容的提问来源于stack exchange，提问作者OurBG