Laravel 8 Queue多服务器多任务调度及全完成后触发指定任务方案咨询

核心需求实现方案 #

1. Task C 触发问题与Laravel队列事件说明 #

Laravel 8原生支持队列任务生命周期事件，任务执行完成后会触发Illuminate\Queue\Events\JobProcessed事件，任务失败会触发Illuminate\Queue\Events\JobFailed事件，可直接在EventServiceProvider中注册监听器使用。
要实现所有A、B任务完成后才触发Task C，优先推荐用Laravel 8自带的批处理功能，无需自己做计数器逻辑，使用示例如下：

// 先执行迁移生成批处理表：php artisan queue:batches-table && php artisan migrate
use Illuminate\Bus\Batch;
use Illuminate\Support\Facades\Bus;
use Throwable;

$batch = Bus::batch([
    // 此处传入所有Task A、Task B的任务实例
    new \App\Jobs\TaskA('s1'),
    new \App\Jobs\TaskA('s2'),
    new \App\Jobs\TaskB('s1'),
    // ... 其余所有任务
])->then(function (Batch $batch) {
    // 所有任务执行成功，触发Task C
    dispatch(new \App\Jobs\TaskC());
})->catch(function (Batch $batch, Throwable $e) {
    // 首个任务失败时的回调，可根据业务需求处理异常
})->finally(function (Batch $batch) {
    // 批处理结束（无论成功失败）的回调
})->dispatch();

如果你坚持用原有固定队列分配的方案，也可以自行实现计数器逻辑：先统计所有A、B任务的总数量存储到Redis/数据库，每监听到一个A/B任务完成就将计数器减1，减到0时加分布式锁触发Task C即可。 #

2. 资源利用率优化方案 #

你原先手动分配任务到固定队列的方案容易出现负载不均（部分队列提前跑完服务器空闲，部分队列积压任务），推荐调整为以下方案：

• 只设2个优先级队列：high队列存所有Task A，default队列存所有Task B
• 每台远程服务器只启动1个队列worker进程，配置命令为 php artisan queue:work --queue=high,default --max-processes=1
• 所有worker统一消费公共的优先级队列，空闲服务器会自动拉取待执行任务，无需手动分配，天然实现任务自动迁移到空闲资源，同时保证单台服务器同一时间只跑1个任务
  因为Task A耗时远长于Task B，优先执行高优先级队列的Task A可有效缩短整体任务的完工时间。

3. 更适配的替代工具 #

如果需要更复杂的调度、依赖管理、可视化监控能力，可选用以下工具：

• Airflow：开源工作流调度工具，支持DAG依赖配置，可直接将Task C设为所有A、B任务的下游依赖，也可灵活配置每个执行节点的并发上限，满足单服务器单任务的要求
• Celery：Python生态的成熟队列工具，支持任务组、成功/失败回调，配合flower组件可直观监控所有任务执行状态，也支持控制每个worker的并发数

内容的提问来源于stack exchange，提问作者ThurstonLevi