Laravel Eloquent分批预加载：50万条数据导出优化问询

哈哈，这个场景太典型了——50万条数据直接foreach加关联查询，那数据库不得跑冒烟？我之前帮朋友处理过类似的导出需求，用Laravel的分批查询+预加载配合Excel流式导出，完美解决N+1和内存溢出的问题，给你具体的实现方案：

核心思路 #

不用一次性加载所有50万条数据，而是用分批读取的方式把数据拆成小批次（比如每批1000条），每批内部预加载关联数据，处理完一批就写入Excel并释放内存，既避免N+1查询，又不会把内存撑爆。

具体实现步骤 #

1. 准备Excel导出库（推荐Maatwebsite/Laravel-Excel） #

这个库支持流式导出和分批读取，是Laravel生态里最常用的Excel工具。如果还没安装，先执行安装命令：

composer require maatwebsite/excel

2. 创建导出类，实现分批预加载+流式导出 #

创建一个导出类（比如app/Exports/ResourceExport.php），结合FromQuery、WithChunkReading和WithMapping三个接口：

namespace App\Exports;

use App\Models\Resource;
use Maatwebsite\Excel\Concerns\FromQuery;
use Maatwebsite\Excel\Concerns\WithChunkReading;
use Maatwebsite\Excel\Concerns\WithMapping;
use Maatwebsite\Excel\Concerns\WithHeadings;

class ResourceExport implements FromQuery, WithChunkReading, WithMapping, WithHeadings
{
    // 定义Excel表头
    public function headings(): array
    {
        return [
            '资源ID',
            '资源名称',
            '创建时间',
            '关联表字段1',
            '关联表字段2'
        ];
    }

    // 构建主查询，同时预加载关联数据（只取需要的字段！）
    public function query()
    {
        // 只选择主表需要的字段，避免加载冗余数据
        return Resource::query()
            ->select('id', 'name', 'created_at')
            // 预加载关联表，同样指定需要的字段，避免全量加载
            ->with('joinedTable:id,resource_id,column1,column2');
    }

    // 设置每批处理的条数（根据服务器内存调整，建议500-2000）
    public function chunkSize(): int
    {
        return 1000;
    }

    // 把模型数据映射成Excel行
    public function map($resource): array
    {
        // 先处理主表数据
        $baseRow = [
            $resource->id,
            $resource->name,
            $resource->created_at->format('Y-m-d H:i:s'),
        ];

        // 处理关联表数据（如果是一对一，直接追加；如果是一对多，循环生成多行）
        if ($resource->joinedTable) {
            return array_merge($baseRow, [
                $resource->joinedTable->column1,
                $resource->joinedTable->column2
            ]);
        }

        // 如果没有关联数据，补空值保证列数一致
        return array_merge($baseRow, ['', '']);
    }
}

3. 控制器中调用导出 #

在你的导出控制器方法里，调用这个导出类即可：

namespace App\Http\Controllers;

use App\Exports\ResourceExport;
use Maatwebsite\Excel\Facades\Excel;
use App\Models\Resource;

class ExportController extends Controller
{
    public function exportResources()
    {
        // 临时关闭模型的自动时间戳，减少不必要的数据库操作
        Resource::disableTimestamps();

        // 执行导出，流式写入Excel
        $response = Excel::download(new ResourceExport, 'resources_'.date('Ymd').'.xlsx');

        // 恢复自动时间戳
        Resource::enableTimestamps();

        return $response;
    }
}

关键细节说明 #

• 彻底解决N+1：每批1000条主数据，Laravel会执行1次主查询（select * from resources where id in (...)）+1次关联查询（select * from joined_table where resource_id in (...)），50万条数据总共只需要1000次查询（500批×2），而不是原来的100万次。
• 内存友好：流式导出每批处理完就写入文件并释放内存，不会把50万条数据都放在内存里，避免OOM。
• 字段精简：一定要用select()和关联预加载时指定字段，不要加载模型的所有字段，这能大幅减少内存占用和查询时间。
• chunkSize调整：如果服务器内存较小，把chunkSize设为500；内存充足的话可以调到2000，找到最适合你服务器的数值。

额外优化建议 #

• 关闭模型事件：如果你的模型有saved/updated等事件监听，可以用Resource::withoutEvents()包裹导出逻辑，减少不必要的开销。
• 数据库索引：确保主表和关联表的关联字段（比如resource_id）有索引，加速关联查询。
• 避免复杂逻辑：在map()方法里尽量只做简单的数据映射，不要加复杂的计算或额外查询，保持导出流程顺畅。

内容的提问来源于stack exchange，提问作者Rainer Plumer