Celery worker后台守护(-D)模式不按Django日志配置输出日志问题咨询
Celery 守护模式日志不生效问题解答
为什么-D后台模式不使用你配置的日志规则
核心原因有3个:
- Celery守护模式(
-D参数)启动时,默认会优先使用自身的日志初始化逻辑,如果你在启动命令中加了--logfile参数,该参数的优先级高于你通过setup_logging信号注入的Django日志配置,Celery会直接使用命令行指定的日志文件,忽略自定义的日志规则。 - Celery默认开启
CELERYD_HIJACK_ROOT_LOGGER配置(默认值为True),会劫持Python根日志处理器,直接覆盖你通过dictConfig加载的自定义日志配置,该行为在守护模式下优先级更高。 - 你的
setup_logging信号回调中存在配置导入不一致的问题:你设置的DJANGO_SETTINGS_MODULE是my_service.settings,但代码中导入的是board_ownership_service.settings,配置加载异常也会导致自定义日志规则不生效。
日期变更时的行为
分两种场景:
- 场景1:你启动时指定了
--logfile logs20210526.logs:此时Celery使用的是自身默认的文件日志处理器,不会触发你配置的TimedRotatingFileHandler逻辑,日期变更后,所有日志仍会持续写入logs20210526.logs,不会自动生成新日期命名的日志文件,也不会自动清理旧日志。 - 场景2:修复配置后正常使用你自定义的
TimedRotatingFileHandler:每天零点会自动触发日志切分,将当前日志重命名为带前一天日期后缀的备份文件,同时创建新的当前日志文件写入新日志,超出30天的备份日志会被自动删除。
修复方案
- 在Django settings中添加如下Celery配置,关闭日志劫持:
CELERYD_HIJACK_ROOT_LOGGER = False # 后台模式无需彩色日志,避免乱码 CELERYD_LOG_COLOR = False
- 修正
celery.py中setup_logging回调的配置导入路径,保持和设置的DJANGO_SETTINGS_MODULE一致:
@setup_logging.connect def config_loggers(*args, **kwags): from logging.config import dictConfig from django.conf import settings dictConfig(settings.LOGGING)
- 启动Celery worker时去掉
--logfile参数,避免命令行参数覆盖自定义配置,启动命令改为:
celery -A project_name -b <broker_url> worker -l INFO -D
内容的提问来源于stack exchange,提问作者sissythem
相关产品推荐
相关产品推荐

