Django中Celery+RabbitMQ消息持续处于Unacked状态问题

针对你遇到的Celery默认prefork池下任务卡在Unacked状态、实际不执行的问题，以下是生产环境可用的替代方案及排查方向：

1. 检查任务代码的进程兼容性 #

• 如果你用相对路径写入文件，prefork子进程的工作目录可能和父进程不一致，导致文件生成在非预期位置。改用绝对路径测试，比如：

  # tasks.py
  from celery import shared_task
  
  @shared_task
  def send_email_async():
      with open("/tmp/test_celery_task.txt", "w") as f:
          f.write("Task executed successfully")
  

• 避免在任务中依赖全局变量、单例对象或未正确初始化的资源（比如父进程的数据库连接），这类资源在子进程中可能失效，导致任务静默卡住。

2. 优化prefork池参数（推荐生产环境优先尝试） #

prefork是Celery默认的多进程池，适合CPU密集型任务，通过调整参数可解决多数进程隔离问题：

• 指定合理的并发数（建议等于CPU核心数），并设置子进程最大任务数自动重启，避免内存泄漏或状态异常：

  python -m celery -A app worker -l info -E --concurrency=4 --max-tasks-per-child=1000 --without-gossip --without-mingle
  

  • --without-gossip/--without-mingle：关闭子进程间的自动发现和通信，减少不必要的进程间干扰
  • --max-tasks-per-child=1000：子进程执行1000个任务后自动重启，重置进程状态

3. 调整RabbitMQ连接配置 #

容器化RabbitMQ可能存在连接超时、心跳异常的问题，导致任务卡在Unacked状态。在celery.py中添加以下配置：

app.conf.broker_heartbeat = 30
app.conf.broker_connection_timeout = 30
app.conf.broker_transport_options = {
    'max_retries': 5,
    'interval_start': 0,
    'interval_step': 0.2,
    'interval_max': 0.5,
}

同时检查RabbitMQ容器的资源使用情况：

• 登录RabbitMQ管理界面，查看Overview中的Flow Control状态，若开启则说明RabbitMQ资源不足，需调整容器内存/CPU限制
• 检查Queues页面的Unacked计数，确认是否有任务堆积导致的资源耗尽

4. 使用协程池（IO密集型任务推荐） #

邮件发送属于IO密集型任务，可使用gevent/eventlet协程池替代prefork，协程池内存占用更低且无进程隔离问题：

1. 安装依赖：

   pip install gevent
   

2. 启动worker：

   python -m celery -A app worker -l info -E --pool=gevent --concurrency=10
   

   （--concurrency可根据任务量调整，协程并发数可远高于CPU核心数）

5. 初始化子进程环境 #

如果任务依赖Django的数据库连接或其他框架资源，可通过Celery信号在子进程启动时重置连接：

# celery.py
from celery.signals import task_prerun
from django.db import connections

@task_prerun.connect
def setup_task_environment(**kwargs):
    # 重置所有数据库连接，避免子进程复用父进程的失效连接
    for conn in connections.all():
        conn.close_if_unusable_or_obsolete()

内容的提问来源于stack exchange，提问作者radhoine_me