RabbitMQ生成大量无用队列故障求助（Celery4.0.2+RabbitMQ3.6.14）

兄弟，我之前维护Celery集群的时候也碰到过几乎一模一样的情况，当时排查了好几天，给你分享下我踩过的坑和解决办法：

先搞清楚为什么会出现这种情况 #

这些无用队列大概率不是凭空冒出来的，主要有这几个核心原因：

• Celery自动创建队列的默认行为：Celery 4.x默认会自动为没有指定队列的任务创建新队列，如果你的任务里有动态生成的名称（比如带UUID、用户ID或者请求参数的task name），或者路由配置出错导致任务没落到你预设的5个队列里，就会疯狂生成新队列。
• RabbitMQ队列无过期/自动删除配置：默认情况下，RabbitMQ的队列是永久存在的，哪怕Celery worker断开连接，这些自动创建的队列也会留在磁盘上，越积越多，最后占满内存和磁盘空间。
• Celery心跳异常导致的重复连接：生产环境网络波动、worker进程异常退出时，如果Celery的心跳配置不合理，RabbitMQ会认为连接还活着，但Celery已经重新建立了新连接，每次重连又可能触发新队列创建，形成恶性循环。

一步步解决问题 #

1. 关闭Celery自动创建队列的功能 #

这是最关键的一步，直接从源头阻止无用队列生成。在你的Celery配置里加上：

CELERY_CREATE_MISSING_QUEUES = False

这样只有你预先定义的5个队列会被创建，任何试图发送到不存在队列的任务都会报错，能帮你快速定位路由配置的问题。

2. 给队列加上过期/自动删除规则 #

如果确实有临时队列的需求（比如某些一次性任务），一定要给这些队列设置TTL，避免它们一直占用资源。在定义队列的时候加上队列参数：

from celery import Queue

app.conf.task_queues = [
    Queue('queue1', routing_key='task.#'),
    Queue('queue2', routing_key='another.#'),
    # 临时队列添加1小时过期配置（单位：毫秒）
    Queue('temp_queue', routing_key='temp.#', queue_arguments={'x-expires': 3600000})
]

另外，也可以给临时队列设置auto_delete=True，当最后一个消费者断开时自动删除队列，但这个要谨慎用在固定队列上，不然所有worker断开后队列就会消失。

3. 调整Celery心跳配置，避免异常重连 #

在Celery配置里加上心跳相关参数，确保连接状态被正确检测：

CELERY_BROKER_HEARTBEAT = 30  # 每30秒发送一次心跳
CELERY_BROKER_HEARTBEAT_CHECKRATE = 2  # 每2次心跳检查一次连接状态

同时检查worker的启动参数，避免用--autoscale设置过大的进程数导致频繁重启，或者加上--max-tasks-per-child限制每个worker进程处理的任务数，防止内存泄漏。

4. 清理已经存在的无用队列 #

现在服务器上已经有大量无用队列了，得先清理掉才能缓解内存压力。可以用RabbitMQ的命令行工具批量删除：

# 先列出所有队列，排除你需要保留的5个队列，然后批量删除
rabbitmqctl list_queues name | grep -vE 'queue1|queue2|queue3|queue4|queue5' | while read queue_name; do
    rabbitmqctl delete_queue "$queue_name"
done

如果开启了RabbitMQ Management UI，也可以在界面上批量选择无用队列删除，操作更直观。

5. 检查任务路由配置，确保所有任务都落到预设队列 #

检查你的任务装饰器或者全局路由配置，确保每个任务都明确指定了队列：

@app.task(queue='queue1')
def your_task():
    # 任务逻辑
    pass

或者用全局路由配置统一管理：

app.conf.task_routes = {
    'your_app.tasks.task1': {'queue': 'queue1'},
    'your_app.tasks.task2': {'queue': 'queue2'},
    # 其他任务路由规则
}

这样能避免任务被默认路由到自动创建的队列里。

6. 考虑升级版本（可选但推荐） #

Celery 4.0.2和RabbitMQ 3.6.14都是比较老的版本了，里面可能存在一些已知的bug（比如自动队列创建的逻辑问题、心跳处理的bug）。如果条件允许，可以先在测试环境升级到Celery 4.x的最新稳定版（比如4.4.7）和RabbitMQ 3.8.x的稳定版，能减少很多潜在问题。

内容的提问来源于stack exchange，提问作者Peyman Fakharian