如何配置Celery Worker仅处理高优先级任务？

核心思路 #

通过Celery结合消息中间件（如RabbitMQ/Redis）的优先级特性，要么用Worker优先级过滤，要么用队列划分+定向监听，就能实现低优先级任务与高优先级任务的隔离处理，避免低优先级长耗时任务拖慢延迟敏感任务。

方式一：Worker优先级过滤（无需修改任务路由） #

这种方式适合不想调整现有任务发送逻辑的场景：

1. 配置消息中间件支持优先级
   先在Celery配置中开启优先级支持（以RabbitMQ为例）：

   # celeryconfig.py
   task_queue_max_priority = 10  # 对应0-10的优先级范围
   

2. 启动低优先级专属Worker
   启动时通过--max-priority参数限制它仅处理优先级低于阈值（如<5，即优先级≤4）的任务：

   celery -A 你的应用名 worker -Q default --max-priority 4 --name low_priority_worker
   

3. 启动普通Worker
   不设置优先级限制，它会处理所有优先级的任务：

   celery -A 你的应用名 worker -Q default --name normal_worker
   

方式二：队列划分+定向监听（逻辑更清晰） #

通过将不同优先级的任务路由到不同队列，让Worker分别监听对应队列，隔离效果更明确：

1. 配置动态任务路由
   在Celery配置中添加路由逻辑，根据任务优先级自动分发到对应队列：

   # celeryconfig.py
   def route_task(name, args, kwargs, options, task=None, **kw):
       # 获取任务优先级，默认5
       priority = options.get('priority', 5)
       # 优先级<5的任务发往高优先级队列，否则发往低优先级队列
       if priority < 5:
           return {'queue': 'high_priority'}
       else:
           return {'queue': 'low_priority'}
   
   task_routes = (route_task,)
   # 同时开启队列优先级支持
   task_queue_max_priority = 10
   

2. 启动普通Worker
   让它监听高优先级队列和默认队列，确保延迟敏感任务被优先处理：

   celery -A 你的应用名 worker -Q high_priority,default --name normal_worker
   

3. 启动低优先级专属Worker
   仅监听低优先级队列：

   celery -A 你的应用名 worker -Q low_priority --name low_priority_worker
   

两种方式都能实现你的需求：低优先级长耗时任务只会被专属Worker处理，不会占用普通Worker的资源，从而保证高优先级的延迟敏感任务能快速执行。

内容的提问来源于stack exchange，提问作者christophe31