You need to enable JavaScript to run this app. 如何在部署到Heroku的Node.js环境中搭建Redis(Bull)队列
优惠活动
大模型
产品
解决方案
定价
更多

如何在部署到Heroku的Node.js环境中搭建Redis(Bull)队列

Heroku Redis + Bull 实现后台耗时任务配置方案

Heroku Redis插件安装截图

1. 修正Bull队列初始化配置

你现有配置中Bull队列实例未适配Heroku Redis的TLS要求,会导致连接失败,修正后的配置如下:

const redis = require('redis');
const Queue = require('bull');
// 通用Redis连接配置,复用给原生Redis客户端和Bull
const redisConfig = {
  url: process.env.REDIS_URL,
  tls: {
    rejectUnauthorized: false
  }
};
const redisClient = redis.createClient(redisConfig);
const bullQueue = new Queue('task-queue', redisConfig);

2. 编写队列任务处理器

耗时的爬虫、数据库操作逻辑需要抽离为队列处理器,建议放在独立的worker.js文件中,由单独的进程运行,不占用web请求的资源:

// worker.js 单独部署为Heroku worker进程
const { pool } = require('./你的数据库配置文件路径');
const bullQueue = require('./队列配置文件路径').bullQueue;
// 注册队列处理器
bullQueue.process(async (job) => {
  const client = await pool.connect();
  // 这里放入你原本的耗时业务逻辑,需要的参数从job.data中获取
  try {
    await client.query('BEGIN');
    // 示例:从任务参数中拿到传递来的data
    const data = job.data.data;
    // 执行爬虫、数据库操作等耗时逻辑
    // ... 你的耗时代码
    await client.query('COMMIT');
  } catch (err) {
    await client.query('ROLLBACK');
    console.error('任务执行失败', err);
    // 可选:抛出错误让Bull自动重试
    throw err;
  } finally {
    client.release();
  }
});

3. 修改接口逻辑,提前返回响应

调整原POST接口代码,在生成需要返回的array之后,直接将响应返回给用户,把需要传递给后台任务的参数传入队列即可,无需等待任务执行完成:

app.post('/', async function(request, response) {
  const client = await pool.connect();
  let taskData = null;
  try {
    await client.query('BEGIN');
    let data = await function1(argumentList);
    taskData = data;
    await function2(data);
    await client.query('COMMIT');
  } catch(err) {
    await client.query('ROLLBACK');
    console.log(err);
    // 可选:出错时返回错误响应
    return response.status(500).json({error: '操作失败'});
  }
  try {
    await client.query('BEGIN');
    const setOfItems = await function3();
    var array = [];
    for (item of setOfItems) {
      if (conditional) {
        array.push(item);
      }
    }
    await client.query('COMMIT');
    // 将需要的参数传入队列,立即返回响应,不需要等待任务执行
    await bullQueue.add({
      data: taskData,
      // 其他需要传递给后台任务的参数都放在这里
    }, {
      // 可选配置:比如重试次数3次
      attempts: 3
    });
    // 直接返回array,不需要等待后台任务执行
    response.json(array);
  } catch(err) {
    await client.query('ROLLBACK');
    console.log(err);
    return response.status(500).json({error: '操作失败'});
  } finally {
    client.release();
  }
});

部署注意事项

  • Heroku的Procfile中需要单独声明worker进程,配置示例:worker: node worker.js,部署后需要在Heroku后台开启worker进程
  • 传递给队列的参数必须是可序列化的JSON格式,不可传入数据库连接、函数等无法序列化的对象
  • 可根据业务需求配置Bull的任务超时、重试、延迟等参数,适配不同的业务场景

内容的提问来源于stack exchange,提问作者nickcoding2

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.20 17:27:03