Celery多任务无法同时消费问题求助

核心问题排查与修复步骤 #

1. 解决RabbitMQ guest用户远程连接限制 #

RabbitMQ默认guest用户仅允许本地（localhost）连接，当Worker通过容器网络（如rabbitmq:5672）远程连接时会被拒绝，这是触发Connection refused最常见的原因。

• 创建专用RabbitMQ用户：

  # 进入RabbitMQ容器
  docker exec -it rabbitmq bash
  # 创建新用户（示例用户名celery，密码celery）
  rabbitmqctl add_user celery celery
  # 赋予管理员权限
  rabbitmqctl set_user_tags celery administrator
  # 设置全权限（针对默认vhost /）
  rabbitmqctl set_permissions -p / celery ".*" ".*" ".*"
  

• 修改Django配置中的CELERY_BROKER_URL：

  # settings.py
  CELERY_BROKER_URL = "amqp://celery:celery@rabbitmq:5672//"
  

2. 调整Celery连接池配置 #

避免多个Worker创建过多连接耗尽RabbitMQ的连接配额，在创建Worker时显式配置连接池参数：

# celery_tasks/utils.py
from celery import Celery
from django.conf import settings

def create_worker_from(task_class):
    app = Celery(
        task_class.__name__,
        broker=settings.CELERY_BROKER_URL,
        broker_pool_limit=5,  # 限制每个Worker的连接池大小，按需调整
        broker_connection_retry_on_startup=True,  # 启动时自动重试连接
        broker_connection_max_retries=10  # 连接重试次数
    )
    app.register_task(task_class())
    return app

3. 为不同任务分配独立队列 #

让两个Worker监听各自专属队列，避免连接竞争与任务混淆：

• 启动Worker时指定队列：

  # 启动Logger任务Worker
  celery -A celery_tasks.utils.create_worker_from:app worker --queue=logger_queue --loglevel=info
  # 启动PerformanceMeasure任务Worker
  celery -A celery_tasks.utils.create_worker_from:app worker --queue=performance_queue --loglevel=info
  

• 发布任务时指定对应队列：

  # 发布Logger任务
  logger_task = create_worker_from(LoggerDefine)
  logger_task.apply_async(args=[your_params], queue='logger_queue')
  
  # 发布PerformanceMeasure任务
  performance_task = create_worker_from(PerformanceMeasureDefine)
  performance_task.apply_async(args=[your_params], queue='performance_queue')
  

4. 检查RabbitMQ资源限制 #

若上述步骤无效，排查RabbitMQ是否因资源不足拒绝连接：

• 查看RabbitMQ日志：

  docker logs rabbitmq
  

• 检查当前连接数：

  docker exec rabbitmq rabbitmqctl list_connections
  

• 若连接数接近上限，修改RabbitMQ配置文件（如rabbitmq.conf），调整连接数或内存限制：

  # 示例：增加TCP监听连接数
  tcp_listeners.5672 = 0.0.0.0
  tcp_acceptors.5672 = 100
  # 调整内存水位线
  vm_memory_high_watermark.relative = 0.8
  

内容的提问来源于stack exchange，提问作者Aaron