如何使用Laravel Eloquent与MySQL处理海量数据避免服务器故障？

原参考代码的核心问题 #

• chunk()方法是分块遍历的执行方法，返回值为布尔类型的执行状态，不存在完整的查询结果集，直接把它的返回值做JSON响应完全取不到业务数据
• 单块设置为10条的规模过小，80万条数据需要发起8万次数据库查询，频繁的连接开销会直接拖垮整个进程
• 没有实际的匹配、删除逻辑，仅做字段输出完全达不到业务目标
• 一次性把全量邮箱列表加载进PHP内存的操作，会直接触发内存溢出，导致服务器进程崩溃

核心优化原则 #

• 严格控制内存占用：任意时刻单批次加载的数据量不能超过PHP可用内存的30%，避免累计内存过高触发进程崩溃
• 把匹配逻辑下推：尽量让数据库通过索引完成数据比对，不要把全量数据捞到应用层再做判断
• 规避分块偏移：删除操作会改动数据集，普通分块定位方式会导致漏查，必须用主键定位分块

分步落地实现 #

1. 前置准备：把已验证邮箱迁移为数据库临时表 #

不要把75万条已验证邮箱直接读进PHP数组——单是这类字符串数据就可能占用数百MB内存，极易触发OOM。正确操作是：

• 新建临时表verified_emails，仅存储email字段，并给该字段建立普通索引
• 逐行读取本地存的邮箱列表文件，攒够1000条为一个批次批量插入临时表，全程不要一次性把整个文件内容读进内存
• 这种方式可以让数据库直接通过索引匹配完成对比，比在PHP层遍历比对的效率高几个数量级

2. 执行批量删除的正确分块逻辑 #

注意：普通chunk()是通过偏移量定位分块位置的，如果在处理过程中删除当前块的数据，会导致结果集整体偏移，出现漏查。chunkById()是按用户主键ID的大小顺序定位分块，不会因为数据删除出现偏移问题，非常适合这类清理场景。

参考实现代码：

// 关闭单步执行时间限制，长任务必须放到CLI命令中运行，不要通过Web请求触发
set_time_limit(0);

User::query()
    // 仅查询需要用到的字段，禁止select *，减少不必要的内存占用
    ->select(['id', 'email'])
    // 匹配所有邮箱不在已验证列表中的用户，用whereNotExists代替关联模型查询，内存占用更低
    ->whereNotExists(function ($query) {
        $query->select(DB::raw(1))
            ->from('verified_emails')
            ->whereColumn('verified_emails.email', 'users.email');
    })
    // 按用户主键ID分块，每块处理500条，500-1000的块大小是兼顾内存和查询效率的最优区间
    ->chunkById(500, function ($userChunk) {
        // 直接批量删除当前块的用户，不要循环单条执行删除，减少数据库交互次数
        User::query()->whereIn('id', $userChunk->pluck('id'))->delete();

        // 手动释放当前块的内存，避免PHP内存累计溢出
        $userChunk = null;

        // 可选：每处理完一个块暂停1秒，降低数据库CPU/IO占用，避免打满数据库影响线上业务
        sleep(1);
    });

// 全部处理完成后返回简单提示即可，禁止把全量处理结果返回前端
return response()->json(['message' => '数据清理完成']);

防故障保障措施 #

• 正式执行前先备份需要删除的用户数据，防止匹配逻辑写反导致误删
• 整个清理任务必须放到CLI命令中运行，Web请求的超时、内存限制无法支撑百万级数据的处理
• 运行过程中实时监控数据库负载，如果CPU、IO占用过高，可调低单块大小、加长暂停时间
• 任务执行完成后清空临时表，释放数据库存储空间

内容的提问来源于stack exchange，提问作者amin mohamed