Laravel Collection Concat合并大数据集性能过慢优化方案求助

问题场景 #

当前通过以下代码从两个数据库表查询数据，使用Laravel Collection的concat方法合并数据集：

// 约1万条记录
$note       = NotesRecord::select('*')
                ->orderBy('created_at', 'desc')
                ->get();

// 约3千条记录    
$others     = Other::select('*')
                ->orderBy('created_at', 'desc')
                ->get();

// 创建空集合并合并数据
$allItems = new \Illuminate\Database\Eloquent\Collection;
$allItems = $allItems->concat($note);
$allItems = $allItems->concat($others);

return $allItems;

遇到的问题：数据量低于2k条时返回耗时不足2秒，但数据量超过10k条时，耗时接近18秒，需要针对性优化。

优化方案 #

1. 数据库层面合并，避免内存拼接

把两个表的查询合并到数据库层面执行，减少PHP内存中处理数据的开销，同时利用数据库的排序优化：

// 注意：确保两个表的字段兼容，可调整select字段保证一致
$allItems = NotesRecord::select('id', 'content', 'created_at') // 只选需要的字段，不要用select('*')
    ->unionAll(Other::select('id', 'content', 'created_at'))
    ->orderBy('created_at', 'desc')
    ->get();

unionAll比union性能更高，因为不需要去重，适合无重复数据的场景。

2. 移除不必要的字段查询

绝对不要用select('*')，明确指定业务需要的字段，这能大幅减少数据库传输的数据量和PHP内存占用，对大数量级数据影响显著。比如只获取id、content、created_at，而非全表字段。

3. 分页处理（优先推荐）

如果前端不需要一次性加载所有数据，实现分页查询，单次返回部分数据：

// 数据库合并后分页
$allItems = NotesRecord::select('id', 'content', 'created_at')
    ->unionAll(Other::select('id', 'content', 'created_at'))
    ->orderBy('created_at', 'desc')
    ->paginate(100); // 每页100条

分页能把单次处理的数据量从几万条降到几百条，响应速度会立刻提升。

4. 用DB门面替代Eloquent模型（减少封装开销）

如果不需要Eloquent模型的关联、事件等功能，直接用DB门面查询，跳过模型的封装开销：

$notes = DB::table('notes_records')
    ->select('id', 'content', 'created_at')
    ->orderBy('created_at', 'desc')
    ->get();

$others = DB::table('others')
    ->select('id', 'content', 'created_at')
    ->orderBy('created_at', 'desc')
    ->get();

$allItems = $notes->concat($others);

5. 分批加载数据（必须内存合并时）

如果一定要在PHP内存中合并数据，用chunk()分批加载，避免一次性把所有数据加载到内存：

$allItems = new \Illuminate\Database\Eloquent\Collection;

// 分批加载NotesRecord
NotesRecord::select('id', 'content', 'created_at')
    ->orderBy('created_at', 'desc')
    ->chunk(1000, function ($notes) use (&$allItems) {
        $allItems = $allItems->concat($notes);
    });

// 分批加载Other
Other::select('id', 'content', 'created_at')
    ->orderBy('created_at', 'desc')
    ->chunk(1000, function ($others) use (&$allItems) {
        $allItems = $allItems->concat($others);
    });

分批加载能降低内存峰值，避免内存溢出，同时提升处理效率。

6. 优化数据库索引

确保两个表的created_at字段有索引，这样orderBy('created_at', 'desc')不需要全表扫描排序：

-- 给NotesRecord表的created_at字段创建降序索引
CREATE INDEX idx_notes_created_at ON notes_records(created_at DESC);

-- 给Other表的created_at字段创建降序索引
CREATE INDEX idx_others_created_at ON others(created_at DESC);

索引能大幅提升排序查询的速度，是数据库层面的关键优化。

内容的提问来源于stack exchange，提问作者ventures 999