Celery+RabbitMQ三种优先级：队列/消费者/任务优先级解析求助

我完全懂你这种混乱的感觉——当初我第一次折腾Celery+RabbitMQ的优先级时，也对着文档绕了好几个圈才理清这三个东西的关系。咱们一个个拆开来讲，再串起来说清楚它们怎么配合生效：

1. 队列的x-max-priority参数：优先级功能的“开关” #

这个是RabbitMQ层面的基础配置，相当于给队列开了“支持优先级排序”的权限。如果不设置这个参数，后面不管你给任务加多少优先级、给消费者设多少优先级，全都是白搭——RabbitMQ会直接忽略所有优先级相关的设置。

怎么设置？ #

在Celery里定义队列时，通过queue_arguments添加这个参数，比如：

from celery import Celery

app = Celery('myapp')
app.conf.task_queues = {
    'priority_queue': {
        'exchange': 'priority_queue',
        'routing_key': 'priority_queue',
        # 这里设置队列支持0-10级优先级，数字越大级别越高
        'queue_arguments': {'x-max-priority': 10},
    },
}

这里的数值代表队列支持的最大优先级级别（范围是0到255，一般设10就够日常用了），任务的优先级不能超过这个数，否则会被RabbitMQ自动截断到最大值。

2. 任务优先级：业务层面的任务排序规则 #

这是你给单个任务标记的优先级，用来告诉RabbitMQ：“这个任务要比别的任务先执行”。它决定了队列里等待的任务谁排在前面、谁排在后面。

怎么设置？ #

有两种常用方式：

• 发送任务时手动指定：

# 给add任务设置优先级为8
add.apply_async(args=[3, 5], priority=8, queue='priority_queue')

• 给任务类设置默认优先级：

@app.task(priority=3)
def add(x, y):
    return x + y

生效逻辑 #

当队列里有多个待执行任务时，RabbitMQ会把高优先级的任务放到队列头部，优先分配给空闲的消费者。但要注意：如果worker一次性预取了很多任务（比如默认的prefetch值是4），那已经被worker拿到本地的任务会按顺序执行，队列里的排序就影响不到这些任务了——这也是很多人设置了任务优先级却看不到效果的常见坑。

3. 消费者优先级：多个worker之间的任务分配规则 #

这个是给**Celery Worker（消费者）**设置的优先级，用来决定“当多个worker监听同一个队列时，谁优先拿到任务”。它和任务优先级是互补的关系：任务优先级管队列内任务的顺序，消费者优先级管哪个worker先拿到这些任务。

怎么设置？ #

有两种方式：

• 启动worker时通过命令行指定：

# 启动一个优先级为5的worker，监听priority_queue队列
celery -A myapp worker -Q priority_queue -l info --consumer-priority=5

• 在Celery配置里全局设置：

app.conf.worker_consumer_priority = 3

生效逻辑 #

当多个worker都处于空闲状态时，RabbitMQ会优先把队列头部的高优先级任务分配给优先级更高的worker。如果高优先级的worker忙，才会分配给低优先级的worker。

比如你有两个worker：workerA（优先级5）、workerB（优先级1），队列里有task1（优先级10）、task2（优先级1），那么task1会先发给workerA，task2发给workerB；如果workerA正在执行task1，那task2会暂时发给workerB。

三者联动的完整生效逻辑 #

把这三个东西串起来，完整的优先级流程是这样的：

1. 先给队列设置x-max-priority，开启优先级支持（这是前提！）；
2. 发送任务时设置任务优先级，RabbitMQ会把高优先级任务排在队列头部；
3. 当有空闲消费者时，RabbitMQ优先把队列头部的任务分配给优先级更高的消费者；
4. 如果worker的prefetch值过大（或者开了-Ofair公平调度），worker会一次性拿多个任务到本地，这时候队列里的排序就无法影响已经预取的任务，会导致优先级看起来“失效”。

你最初设置无效的可能原因 #

你说只加了x-max-priority却没效果，大概率是这几个原因之一：

• 没给任务设置优先级：默认任务优先级是0，所有任务优先级相同，自然看不出排序效果；
• worker预取了过多任务：默认prefetch值是4，worker会一次性拿4个任务，队列里的排序对这些已预取的任务无效；
• 只有一个消费者：消费者优先级没发挥作用，如果这个消费者已经预取了任务，也看不到队列排序的效果。

内容的提问来源于stack exchange，提问作者Honza