使用Django、Celery与django-celery-beat对接多RabbitMQ Broker的问题

问题根源梳理 #

1. 任务装饰器错误：demo_two/tasks.py中的任务装饰器缺少.task后缀，直接使用@demo_two_celery会导致任务未被正确注册为Celery任务。
2. 多Celery实例的beat适配问题：django-celery-beat默认仅绑定单个Celery应用，无法自动识别两个独立的Celery实例，因此beat无法发现另一实例的任务。
3. 任务注册逻辑遗漏：虽使用了autodiscover_tasks，但多实例场景下需确保每个实例的任务都被beat正确感知。

分步修复方案 #

1. 修正任务装饰器错误

打开demo_two/tasks.py，补全装饰器的.task后缀：

# demo_two/tasks.py
from demo_project.celery import demo_two_celery

@demo_two_celery.task  # 补充.task后缀
def demo_two_task():
    print("DEMO TWO task")

2. 为每个Celery实例单独启动beat进程

由于两个Celery实例绑定不同Broker，需分别启动对应的beat进程，确保beat与Celery实例一一对应：

• 启动绑定demo_one_celery的beat：

celery -A demo_project.celery:demo_one_celery beat -l info --scheduler django_celery_beat.schedulers:DatabaseScheduler

• 启动绑定demo_two_celery的beat：

celery -A demo_project.celery:demo_two_celery beat -l info --scheduler django_celery_beat.schedulers:DatabaseScheduler

注意：数据库中配置周期性任务时，Task name字段必须严格对应任务的完整路径（如demo_one.tasks.demo_one_task、demo_two.tasks.demo_two_task）。

3. 手动指定任务模块路径（可选）

若仍出现“task not found”，可在celery.py中为每个Celery实例手动指定任务模块，替代autodiscover_tasks：

# celery.py
# ... 其他代码 ...

demo_one_celery = Celery(
    "demo_one",
    broker="amqp://{}:{}@{}:{}/{}".format(
        settings.DEFAULT_RMQ_USER,
        settings.DEFAULT_RMQ_PASS,
        settings.DEFAULT_RMQ_HOST,
        settings.DEFAULT_RMQ_PORT,
        settings.DEFAULT_RMQ_V_HOST,
    ),
    include=['demo_one.tasks']  # 手动指定任务模块
)

# ... 其他代码 ...

demo_two_celery = Celery(
    "demo_two",
    broker="amqp://{}:{}@{}:{}/{}".format(
        settings.TWO_RMQ_USER,
        settings.TWO_RMQ_PASS,
        settings.TWO_RMQ_HOST,
        settings.TWO_RMQ_PORT,
        settings.TWO_RMQ_V_HOST,
    ),
    include=['demo_two.tasks']  # 手动指定任务模块
)

4. 验证任务注册状态

启动worker后，可通过以下命令查看对应Celery实例的已注册任务，确认任务是否存在：

# 查看demo_one_celery的已注册任务
celery -A demo_project.celery:demo_one_celery inspect registered

# 查看demo_two_celery的已注册任务
celery -A demo_project.celery:demo_two_celery inspect registered

额外注意事项 #

• 数据库中的周期性任务，Task name必须与任务完整路径完全匹配，否则beat会无法定位任务。
• 两个beat进程需独立启动，不能共用，避免不同Broker的任务调度出现冲突。

内容的提问来源于stack exchange，提问作者Kishan M Mohan