Celery多Worker任务智能分配优化：单队列调度方案咨询

核心思路 #

放弃为每个Worker分配专属队列的做法，将所有任务放入单个共享队列，让4个Worker自动从队列中获取任务执行，实现动态负载均衡。

具体修改步骤 #

1. 调整队列配置（celeryconfig.py）

删除原有的多队列定义，统一使用默认的celery队列（或自定义单个队列）：

# 移除原有的多QUEUES配置，替换为单队列设置
CELERY_TASK_QUEUES = {
    'celery': {
        'exchange': 'celery',
        'exchange_type': 'direct',
        'routing_key': 'celery'
    }
}
# 指定默认队列
CELERY_DEFAULT_QUEUE = 'celery'
CELERY_DEFAULT_EXCHANGE = 'celery'
CELERY_DEFAULT_ROUTING_KEY = 'celery'

# 可选：开启公平调度（针对任务执行时长差异大的场景）
CELERYD_PREFETCH_MULTIPLIER = 1

注：CELERYD_PREFETCH_MULTIPLIER=1 会让Worker每次只预取1个任务，避免一次性抢占过多任务导致后续分配不均。

2. 修改任务发送逻辑（api.py）

将原来均分任务到不同队列的代码，改为统一发送到共享队列：

# 原代码（均分至4个专属队列）：
# for i in range(250):
#     tasks.my_task.apply_async(args=[i], queue='worker1')
# ... 重复其他3个队列的发送逻辑

# 修改后（全部发送到共享队列）：
for i in range(1000):
    # 使用delay()自动走默认队列
    tasks.my_task.delay(i)
    # 或者明确指定队列：tasks.my_task.apply_async(args=[i], queue='celery')

3. 重启Worker进程

停止原有的专属队列Worker，启动4个监听共享队列的Worker：

# 方式1：单进程启动4个并发Worker
celery -A celery_app worker --concurrency=4 --loglevel=info

# 方式2：启动4个独立Worker进程（每个进程监听共享队列）
celery -A celery_app worker -Q celery --loglevel=info --hostname=worker1@%h
celery -A celery_app worker -Q celery --loglevel=info --hostname=worker2@%h
celery -A celery_app worker -Q celery --loglevel=info --hostname=worker3@%h
celery -A celery_app worker -Q celery --loglevel=info --hostname=worker4@%h

原理说明 #

单队列模式下，Celery会自动完成任务的动态分配：每个Worker完成当前任务后，会立即从队列中获取下一个任务执行，彻底避免"部分Worker闲置、部分Worker长期忙碌"的负载不均问题。配合CELERYD_PREFETCH_MULTIPLIER=1，能进一步优化长耗时任务的调度公平性。

内容的提问来源于stack exchange，提问作者Sardar