Django集成Celery时无法导入Celery及JSON日志格式化器问题求助

问题根因 #

你遇到的循环依赖链路如下：

1. Django启动时会优先加载配置模块，读取LOGGING配置时需要实例化app_name.utils.logging.JSONFormatter，因此会自动导入app_name.utils.logging模块
2. 你在app_name.utils.logging模块的顶层直接或间接导入了Celery相关内容：比如使用了@shared_task装饰器、导入了项目根目录__init__.py中暴露的celery_app实例
3. 项目根目录的__init__.py又导入了app_name.app_name_celery中的Celery应用实例
4. app_name.app_name_celery中调用app.config_from_object("django.conf:settings")时需要再次加载Django配置模块，形成闭环

修正方案 #

1. 调整Celery配置文件的导入顺序 #

你当前的app_name/app_name_celery.py中，环境变量设置晚于Celery相关导入，会导致导入时Django配置还未初始化，调整后代码如下：

import os
# 环境变量设置必须放在所有导入的最前面
os.environ.setdefault("DJANGO_SETTINGS_MODULE", "config.settings.local")

from celery import signals, Celery
from django.conf import settings

@signals.setup_logging.connect
def setup_celery_logging(**kwargs):
    pass

app = Celery('app_name')
app.config_from_object("django.conf:settings", namespace="CELERY")
app.autodiscover_tasks(lambda: settings.INSTALLED_APPS)

2. 清理logging模块的顶层导入 #

检查app_name.utils.logging模块的所有顶层导入语句，把所有Celery相关的导入都移到函数/方法内部，不要在模块加载阶段就引入Celery依赖。

3. 可选：调整根目录__init__.py的导入逻辑 #

如果确认logging模块确实需要用到Celery实例，可以把根目录__init__.py的Celery导入改为懒加载形式，避免Django启动早期就触发Celery加载：

# This will make sure the app is always imported when
# Django starts so that shared_task will use this app.
__all__ = ('celery_app',)

def __getattr__(name):
    if name == 'celery_app':
        from .app_name_celery import app
        return app
    raise AttributeError(f"module {__name__} has no attribute {name}")

验证方法 #

可以临时把LOGGING配置中的json formatter替换为Python默认的Formatter，如果启动不再报错，即可确认问题出在JSONFormatter所在模块的导入链路上。

内容的提问来源于stack exchange，提问作者CryptoRAT