You need to enable JavaScript to run this app. Laravel中使用kalnoy/nestedset包更新17万条分类数据过慢的优化咨询
优惠活动
大模型
产品
解决方案
定价
更多

Laravel中使用kalnoy/nestedset包更新17万条分类数据过慢的优化咨询

原逻辑性能瓶颈定位

当前慢的核心原因是完全没有针对17万条数据的量级做优化,具体问题点:

  • 你贴出的CreateFailedJobsTable迁移定义和本次Category表的批量更新逻辑无关,不会造成当前的性能问题
  • 全量加载待更新分类时,直接调用get()拉取所有模型,包含description/content/photo这类大字段,内存占用高、IO开销大,且每个模型都会触发属性转换、trait钩子的额外开销
  • 循环内对每条分类单独调用ancestorsAndSelf()查询祖先节点,属于典型的N+1查询,17万条数据会触发17万次独立的数据库查询,仅数据库解析、往返的累计耗时就会超过几十分钟
  • 循环内每处理完一条分类就单独执行一次update方法,会触发Eloquent模型的所有更新钩子,再叠加17万次单行写入的数据库事务、fsync开销,进一步拖慢速度
  • 没有对查询条件做索引优化,where value is null or value = ''的全表扫描会额外消耗大量IO时间
可落地的优化方案

1. 零SQL开销计算节点路径

不要在循环内查数据库取祖先关系,直接一次性加载全树计算路径必须的最小字段集,在内存中递归拼接路径:

// 只加载计算路径必须的字段,排除大字段,减少内存与IO开销
$allNodeMap = \Kalnoy\Nestedset\Node::query()
    ->select(['id', 'parent_id', 'category_name'])
    ->get()
    ->keyBy('id'); // 以id为键生成映射,方便O(1)查找节点

// 内存中递归生成节点完整路径,全程不触发数据库查询
function buildCategoryPath(int $nodeId, \Illuminate\Support\Collection $nodeMap): string
{
    $pathSegments = [];
    $current = $nodeMap->get($nodeId);
    // 沿parent_id逐级向上查找父节点,直到根节点
    while ($current) {
        $pathSegments[] = $current->category_name;
        $current = $current->parent_id ? $nodeMap->get($current->parent_id) : null;
    }
    // 反转拼接,保证根节点在路径最前端
    return implode(' - ', array_reverse($pathSegments));
}

2. 批量写入替代单行更新

把内存中计算好的路径按固定大小攒批,用数据库原生批量upsert替代逐行Eloquent更新,避免触发无关的模型钩子、减少数据库往返次数:

// 只查待更新节点的id,避免拉取全字段
$targetIds = Category::query()
    ->where(fn($query) => $query->whereNull('value')->orWhere('value', ''))
    ->pluck('id');

$updateBatch = [];
$batchSize = 1000; // 每1000条提交一次,平衡SQL长度与往返次数
// 外层包一个统一事务,合并SSD写入的fsync开销
\Illuminate\Support\Facades\DB::transaction(function () use ($targetIds, $allNodeMap, &$updateBatch, $batchSize) {
    foreach ($targetIds as $id) {
        $updateBatch[] = [
            'id' => $id,
            'value' => buildCategoryPath($id, $allNodeMap)
        ];
        // 攒够批次就执行批量更新
        if (count($updateBatch) >= $batchSize) {
            \Illuminate\Support\Facades\DB::table('categories')
                ->upsert($updateBatch, ['id'], ['value']);
            $updateBatch = [];
        }
    }
    // 处理最后不足一批的剩余数据
    if (!empty($updateBatch)) {
        \Illuminate\Support\Facades\DB::table('categories')
            ->upsert($updateBatch, ['id'], ['value']);
    }
});

3. 兜底性能优化

  • 给categories表的value字段加普通索引,快速过滤待更新的空值节点,避免全表扫描
  • 不要在web请求中直接运行这个批量脚本,17万条数据优化完成后仍需要数秒执行时间,将逻辑放到队列任务中运行,避免web请求超时
  • 批量更新全程使用DB门面操作,不要触发Eloquent模型的Sluggable、SoftDeletes等trait钩子,这类钩子在批量补全字段的场景下属于完全不必要的开销

内容的提问来源于stack exchange,提问作者trilel

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.13 07:45:07