如何将Django与Celery拆分到独立容器并配置参数访问任务？

核心思路 #

Celery要访问Django内的任务，核心是让独立的Celery实例能加载Django的配置与任务模块——要么共享Django代码，要么确保Celery能初始化Django运行环境，从而识别任务文件。

具体配置步骤 #

1. 让Celery初始化Django环境 #

在Celery的配置文件（通常是项目根目录的celery.py）中，必须先加载Django的设置，示例代码：

import os
from celery import Celery

# 指定Django配置模块的环境变量
os.environ.setdefault('DJANGO_SETTINGS_MODULE', '你的Django项目名.settings')

app = Celery('你的Django项目名')

# 从Django配置中读取Celery相关设置，用命名空间避免参数冲突
app.config_from_object('django.conf:settings', namespace='CELERY')

# 自动扫描Django各应用下的tasks.py文件
app.autodiscover_tasks()

2. 让Celery容器能访问任务代码 #

如果用容器部署，有两种可行方式：

• 共享代码卷：把Django的代码目录挂载到Celery容器中，确保Celery能找到各应用下的tasks.py。比如Docker Compose配置：

services:
  celery-worker:
    build: .
    command: celery -A 你的Django项目名 worker --loglevel=info
    volumes:
      - ./你的Django代码目录:/app  # 和Django容器共享代码路径
    environment:
      - DJANGO_SETTINGS_MODULE=你的Django项目名.settings
      - CELERY_BROKER_URL=redis://redis:6379/0
      - CELERY_RESULT_BACKEND=redis://redis:6379/0

• 提取独立任务模块：如果不想共享整个Django代码，可把任务逻辑拆成单独的Python包，让Django和Celery都依赖这个包。这种方式适合任务与Django耦合度低的场景。

3. 统一消息中间件与结果后端配置 #

Django和Celery必须使用同一个消息中间件（如Redis、RabbitMQ），确保任务能在两者间传递。在Django的settings.py中配置：

CELERY_BROKER_URL = 'redis://redis:6379/0'
CELERY_RESULT_BACKEND = 'redis://redis:6379/0'

Celery容器的环境变量要和上述配置完全一致。

4. 启动独立的Celery实例 #

在Celery容器中执行启动命令：

celery -A 你的Django项目名 worker --loglevel=info

这里的你的Django项目名是包含celery.py和settings.py的根模块名称。

关键注意事项 #

• 确保Celery容器能访问Django使用的数据库（如果任务需要操作Django模型），以及消息中间件服务。
• 任务中如果调用Django模型或配置，必须确保Celery已初始化Django环境，否则会触发AppRegistryNotReady错误。
• Celery容器要安装和Django容器完全一致的依赖包，包括Django本身及任务用到的第三方库。

内容的提问来源于stack exchange，提问作者lornejad