Laravel中高效向binary字段追加大数据（避免内存溢出）

直接通过模型属性修改data字段（比如$model->data .= $chunk）会把整个字段内容加载到内存，对于1GB+的数据必然导致内存溢出，以下是无需加载原有数据的实现方案：

核心思路：用原生SQL直接追加，绕过模型属性加载 #

利用数据库的字符串拼接原生函数，直接在数据库层面完成追加操作，全程不需要把原有data内容读取到PHP内存中。

1. MySQL/MariaDB 实现 #

使用CONCAT函数执行原生UPDATE语句，通过DB门面直接操作：

// 假设你的模型对应表名为`your_table`，当前模型实例为$model，待追加的分块为$chunk
DB::table('your_table')
    ->where('id', $model->id)
    ->update([
        'data' => DB::raw('CONCAT(data, ?)')
    ], [$chunk]);

如果是首次写入（data字段为NULL），可以用CONCAT_WS兼容空值场景：

DB::table('your_table')
    ->where('id', $model->id)
    ->update([
        'data' => DB::raw('CONCAT_WS("", data, ?)')
    ], [$chunk]);

2. PostgreSQL 实现 #

PostgreSQL支持用||操作符拼接二进制数据，写法类似：

DB::table('your_table')
    ->where('id', $model->id)
    ->update([
        'data' => DB::raw('data || ?')
    ], [$chunk]);

3. 批量分块追加的事务处理 #

如果需要多次追加多个分块，建议包裹在事务中保证原子性，避免部分写入失败：

DB::beginTransaction();
try {
    foreach ($chunks as $chunk) {
        DB::table('your_table')
            ->where('id', $model->id)
            ->update([
                'data' => DB::raw('CONCAT(data, ?)')
            ], [$chunk]);
    }
    DB::commit();
} catch (\Exception $e) {
    DB::rollBack();
    throw $e;
}

关键注意事项 #

• 绝对不要使用模型的属性赋值+save()：比如$model->data .= $chunk; $model->save();会触发模型加载整个data字段到内存，直接导致溢出。
• 分块大小建议：根据服务器内存和数据库配置调整分块大小，一般建议每块10-100MB，避免单次请求内存占用过高。
• 数据库字段类型：确保data字段是支持大二进制数据的类型，比如MySQL的LONGBLOB（最大支持4GB），PostgreSQL的BYTEA，不要用普通BINARY（长度有限制）。

内容的提问来源于stack exchange，提问作者Marcos DaSilva