如何优化PHP foreach处理20K行数据？Laravel+Mongo工单系统性能咨询

我之前维护过类似的Laravel+Mongo工单系统，也碰到过全量遍历20K数据导致性能拉胯的问题，折腾了几个方案后效果不错，给你梳理下实践下来的优化思路，结合系统和服务器限制一起说：

1. 精准过滤+索引优化，从源头减少数据量 #

你现在全量查询20K行是最大的问题——其实只需要处理12小时无活动且状态未变更的工单，完全没必要拉取所有数据：

• 编写精准的Mongo查询条件：只筛选updated_at小于now()->subHours(12)，同时排除已经是目标状态的工单（避免重复处理）
• 只查询必要字段：用select()指定需要的字段（比如_id、status、user_email），不要加载整个工单文档，大幅减少内存占用
• 给查询字段加索引：Mongo的全表扫描是性能杀手，给updated_at单独加索引，或者创建status + updated_at的复合索引，让查询速度直接起飞

示例代码（Laravel Eloquent）：

// 先定义查询条件
$inactiveQuery = Ticket::where('updated_at', '<', now()->subHours(12))
    ->where('status', '!=', 'inactive'); // 避免重复处理已变更的工单

// 批量更新状态（一次数据库操作，比循环快N倍）
$updatedCount = $inactiveQuery->update(['status' => 'inactive']);

// 再查询需要发邮件的工单，只取必要字段
$ticketsToNotify = $inactiveQuery->select('_id', 'user_email', 'subject')->get();

Mongo索引可以在模型里定义，或者直接通过Mongo Shell创建：

// Ticket模型中添加索引定义
protected $indexes = [
    ['keys' => ['updated_at' => 1]],
    ['keys' => ['status' => 1, 'updated_at' => 1]], // 复合索引优化查询
];

2. 分批处理（Chunking），避免内存溢出 #

就算过滤后还有几千条数据，一次性加载到内存也容易触发PHP的memory_limit限制，用Laravel的chunk()方法分批处理，每次只加载指定数量的记录到内存：

// 每次处理100条，可根据服务器内存调整
$inactiveQuery->chunk(100, function ($tickets) {
    foreach ($tickets as $ticket) {
        // 这里可以直接处理，或者推送到队列
        NotifyTicketInactive::dispatch($ticket);
    }
});

如果用Mongo原生查询，建议用游标（Cursor）而不是一次性获取所有结果，Laravel的Eloquent已经封装了游标逻辑，也可以直接用cursor()方法：

foreach ($inactiveQuery->cursor() as $ticket) {
    NotifyTicketInactive::dispatch($ticket);
}

3. 异步队列处理IO密集型操作 #

发送邮件是典型的IO密集型任务，同步处理会阻塞进程，拖慢整个批量任务的执行时间。把邮件通知放到Laravel队列里异步处理：

• 把工单数据推送到队列，主线程只负责分发任务，很快就能结束
• 根据服务器CPU核数配置队列Worker数量（比如4核服务器开3-4个Worker），避免占用过多CPU资源
• 用Laravel Horizon（如果用Redis队列）监控队列状态，方便排查失败任务

示例队列任务类：

namespace App\Jobs;

use App\Models\Ticket;
use App\Mail\TicketInactiveMail;
use Illuminate\Bus\Queueable;
use Illuminate\Contracts\Queue\ShouldQueue;
use Illuminate\Foundation\Bus\Dispatchable;
use Illuminate\Queue\InteractsWithQueue;
use Illuminate\Queue\SerializesModels;
use Illuminate\Support\Facades\Mail;

class NotifyTicketInactive implements ShouldQueue
{
    use Dispatchable, InteractsWithQueue, Queueable, SerializesModels;

    protected $ticket;

    // 设置任务超时时间，避免长时间占用Worker
    public $timeout = 60;

    public function __construct(Ticket $ticket)
    {
        $this->ticket = $ticket;
    }

    public function handle()
    {
        // 发送邮件逻辑
        Mail::to($this->ticket->user_email)->send(new TicketInactiveMail($this->ticket));
    }
}

4. 定时任务调度优化，避免资源冲突 #

因为是定期执行的任务，要结合服务器负载情况调整：

• 把定时任务安排在服务器低峰期（比如凌晨2点），避免影响正常业务
• 给定时任务加锁，用withoutOverlapping()防止同一任务重复执行（比如上一次任务还没跑完，下一次触发会跳过）

示例Laravel调度代码：

// app/Console/Kernel.php
protected function schedule(Schedule $schedule)
{
    $schedule->command('tickets:check-inactive')
        ->dailyAt('02:00') // 凌晨2点执行
        ->withoutOverlapping(); // 防止重复执行
}

5. 服务器与系统限制适配 #

• 内存限制：如果PHP的memory_limit较低，调小chunk()的批次大小（比如从100改成50），或者临时在任务脚本里调整内存限制：ini_set('memory_limit', '256M');
• CPU限制：队列Worker数量不要超过服务器CPU核数的1.5倍，避免CPU过载
• Mongo连接数：Laravel的数据库连接池会自动管理连接，但要确保Mongo的maxConnections设置足够，避免批量操作时连接耗尽
• 邮件服务商限制：如果批量发送邮件，要遵守邮件服务商的发送频率限制，比如单次发送不要超过500封，或者用队列分散发送时间

额外提醒 #

• 先在测试环境验证优化效果，不要直接在生产环境上线
• 记录任务日志：用Laravel的日志功能记录处理的工单数量、失败的任务ID，方便后续排查
• 如果工单量持续增长到几十万级，可以考虑Mongo分片或者按时间分表，不过现阶段前面的优化应该足够解决问题

内容的提问来源于stack exchange，提问作者d7p4x