Laravel批量同步外部表数据：updateOrInsert无法更新行问题排查

需每隔几分钟将外部现有表与网站表同步，此前用foreach循环处理，当数据达约20000条时同步速度极慢。期望实现新增或更新记录，但当前代码的updateOrInsert无法更新现有行，代码如下：

$no_of_data = RemoteUser::count(); // 20.000 (example)

$webUserData = array();
for ($i = 0; $i < $no_of_data; $i++) {
    // I check the external user so i can match it.
    $externalUser = RemoteUser::where('UserID', $i)
        ->first();

    if($externalUser) {
        $webUserData[$i]['username'] = $externalUser->username;
        $webUserData[$i]['user_id'] = $externalUser->UserID;
    }
}

$chunk_data = array_chunk($webUserData, 1000);
if (isset($chunk_data) && !empty($chunk_data)) {
    foreach ($chunk_data as $chunk_data_val) {

        \DB::table('WebUser')->updateOrInsert($chunk_data_val);
    }
}

问题根源分析 #

1. 循环查询逻辑错误且效率极低 #

• 通过for ($i = 0; $i < $no_of_data; $i++)遍历UserID的逻辑不成立，UserID未必是从0开始的连续整数，会产生大量无效查询，同时漏掉UserID大于等于$no_of_data的记录。
• 每次循环执行一次first()查询，2万条数据就要触发2万次数据库请求，这是同步速度慢的核心原因。

2. updateOrInsert方法使用错误 #

updateOrInsert的正确用法是接收两个参数：

• 第一个参数：查询条件数组（用于判断数据库中是否存在目标记录，比如['user_id' => $userId]）
• 第二个参数：要插入/更新的字段数组（比如['username' => $username]）

你直接将整个chunk数组传入方法，完全不符合参数要求，导致无法正确匹配现有记录，自然无法执行更新操作。

3. 数组处理逻辑冗余 #

array_chunk处理后的数组保留了原数组的UserID索引，但updateOrInsert无法识别这种结构的批量数据；同时isset($chunk_data) && !empty($chunk_data)的判断属于冗余逻辑，array_chunk即使处理空数组也会返回至少一个空数组元素。

修复后的代码方案 #

方案1：使用upsert批量处理（Laravel 8+推荐） #

upsert是专门用于批量新增/更新的方法，仅需两次数据库查询，效率极高：

// 批量获取所有外部用户数据，避免循环查询
$remoteUsers = RemoteUser::select('UserID', 'username')->get();

// 转换为upsert要求的结构：每个元素包含唯一键和待更新字段
$webUserData = $remoteUsers->map(function ($user) {
    return [
        'user_id' => $user->UserID,
        'username' => $user->username
    ];
})->toArray();

// 分块处理，避免内存溢出
$chunks = array_chunk($webUserData, 1000);

foreach ($chunks as $chunk) {
    // upsert参数：数据数组、唯一匹配键数组、待更新字段数组
    \DB::table('WebUser')->upsert(
        $chunk,
        ['user_id'], // 必须为数据库中的唯一索引
        ['username'] // 记录存在时需更新的字段
    );
}

方案2：修正updateOrInsert的使用（适配低版本Laravel） #

如果你的Laravel版本低于8.x，没有upsert方法，可以修正updateOrInsert的用法，同时保留批量获取数据的逻辑：

// 批量获取外部用户数据
$remoteUsers = RemoteUser::select('UserID', 'username')->get();

// 分块处理
$remoteUsers->chunk(1000, function ($chunk) {
    foreach ($chunk as $user) {
        // 正确传递参数：第一个是查询条件，第二个是待插入/更新的字段
        \DB::table('WebUser')->updateOrInsert(
            ['user_id' => $user->UserID], // 匹配现有记录的条件
            ['username' => $user->username] // 插入或更新的字段
        );
    }
});

额外优化建议 #

• 给WebUser表的user_id字段添加唯一索引，这是upsert和updateOrInsert高效执行的前提，否则数据库会进行全表扫描匹配记录，速度依然缓慢。
• 如果只需同步新增或修改过的记录，可以给RemoteUser表添加updated_at字段，每次同步仅拉取上次同步时间之后修改的数据，进一步减少处理量。
• 同步逻辑中尽量避免复杂计算，保持数据转换逻辑简洁。

内容的提问来源于stack exchange，提问作者user10969278