如何快速遍历并正确删除Bull.js中失败或卡住的任务

不需要手动到Redis中查找删除任务，直接使用Bull.js封装的任务实例方法操作即可，所有Redis交互逻辑由Bull.js内部处理，不会产生脏数据，操作更稳妥。

具体操作步骤 #

• 第一步：过滤符合特征的目标任务
  优先使用Bull提供的progress()方法读取任务进度属性，不要直接访问私有属性，过滤代码参考：

  // 按需拉取指定状态的任务，避免拉取已完成/已删除的无效任务，提升效率
  const allRelatedJobs = await videoQueue.getJobs(['active', 'waiting', 'failed']);
  const targetErrorJobs = allRelatedJobs.filter(job => 
    job.progress() === 'undefined;conversion error'
  );
  

• 第二步：按任务状态分类处理，避免资源泄漏

  for (const job of targetErrorJobs) {
    const jobState = await job.getState();
    if (jobState === 'active') {
      // 运行中的卡住任务先标记为失败，跳过重试逻辑，通知worker终止当前任务执行
      await job.moveToFailed({ message: 'conversion error, manual cleanup' }, true);
      // 若你的worker逻辑中实现了任务取消监听，可先调用 await job.cancel() 主动终止进程
    }
    // 移除任务，释放Redis存储资源
    await job.remove();
  }
  

• 第三步：大数据量场景优化
  若队列中累计任务数超过1000条，建议分页拉取任务处理，避免单次请求给Redis带来过大压力：

  // 每次拉取100条任务处理
  const batchSize = 100;
  let start = 0;
  while (true) {
    const batchJobs = await videoQueue.getJobs(['active', 'waiting', 'failed'], start, start + batchSize - 1);
    if (batchJobs.length === 0) break;
    // 执行过滤、清理逻辑
    start += batchSize;
  }
  

注意事项 #

• 禁止直接操作Redis中Bull生成的key，Bull内部维护了任务锁、重试计数、队列索引等多组关联数据，直接删Redis key会导致队列状态异常，出现新任务无法调度等问题。
• 若需要彻底释放ffmpeg占用的CPU、内存资源，建议在worker的任务失败回调中添加ffmpeg子进程终止逻辑，任务被标记为失败时会自动触发回调杀掉对应进程。
• 可将该清理逻辑封装为Bull的定时重复任务，替代手动写的setInterval，调度更稳定，也不会出现进程重启后定时任务丢失的问题。

内容的提问来源于stack exchange，提问作者lovgrandma