Laravel Eloquent中with关联查询如何分块处理大ID集合？

当with关联查询的IN子句包含数千个ID时，确实会引发数据库性能问题。你可以通过以下几种方式实现分块处理关联数据：

1. 手动分块查询主模型，再批量关联 #

放弃一次性get()主模型，改用chunk()分块获取，然后每块单独加载关联，最后合并结果：

$books = collect();

Book::chunk(200, function ($chunkBooks) use (&$books) {
    // 对当前块的书籍加载作者关联
    $chunkBooks->load('author');
    $books = $books->merge($chunkBooks);
});

// 最终$books就是带作者关联的所有书籍集合

这种方式会把主查询拆成多个小查询，每个块的关联查询IN子句只包含当前块的作者ID，避免单个超大IN语句。

2. 自定义关联查询的分块逻辑 #

如果不想拆分主查询，可以自定义关联的查询逻辑，手动分块查询关联数据后再映射到主模型：

// 先获取所有书籍
$books = Book::all();

// 提取所有作者ID并分块
$authorIds = $books->pluck('author_id')->unique();
$authors = collect();

$authorIds->chunk(200)->each(function ($chunkIds) use (&$authors) {
    $chunkAuthors = Author::whereIn('id', $chunkIds)->get();
    $authors = $authors->merge($chunkAuthors);
});

// 将作者关联映射到书籍上
$books->each(function ($book) use ($authors) {
    $book->setRelation('author', $authors->firstWhere('id', $book->author_id));
});

这种方式主查询还是一次，但关联查询被拆成了多个小的IN查询，同样能避免超大IN子句的问题。

3. 使用延迟加载结合分块 #

如果你不需要一次性获取所有数据，而是要遍历处理，直接在分块遍历的时候加载关联，处理完当前块就释放内存，更适合超大数据集：

Book::chunk(200, function ($chunkBooks) {
    $chunkBooks->load('author');
    
    // 在这里处理当前块的书籍，比如导出、入库等
    foreach ($chunkBooks as $book) {
        echo $book->title . ' - ' . $book->author->name;
    }
});

这种方式内存占用更低，不会一次性把所有数据加载到内存，同时每个块的关联查询都是小IN子句。

注意：分块大小（比如示例中的200）需要根据你的数据库性能和数据量调整，不是固定值，建议测试后选择最优值。

内容的提问来源于stack exchange，提问作者Chris