为何Celery的task_time_limit与task_soft_time_limit配置不生效？

问题描述 #

基于Celery 5.3.4的Django应用，使用Redis作为broker，配置task_time_limit与task_soft_time_limit后始终不生效。将参数设为task_time_limit=5、task_soft_time_limit=1，运行sleep10秒的慢任务，任务仍能正常完成，未触发超时：

2024-03-05T15:46:04.647630Z [info     ] Task slow_task[97f51f79-ac48-4aa3-9098-a3ec5a299adc] received [celery.worker.strategy]
2024-03-05T15:46:14.741217Z [info     ] Task slow_task[97f51f79-ac48-4aa3-9098-a3ec5a299adc] succeeded in 10.093100208323449s: None [celery.app.trace]

当前配置文件 #

celery.py #

import os

from celery import Celery
from celery.signals import worker_init
from django.conf import settings

# Set the default Django settings module for the 'celery' program.
os.environ.setdefault("DJANGO_SETTINGS_MODULE", "kosa_api.settings")

app = Celery("kosa_api")

# Using a string here means the worker doesn't have to serialize
# the configuration object to child processes.
# - namespace='CELERY' means all celery-related configuration keys
#   should have a `CELERY_` prefix.
app.config_from_object("django.conf:settings", namespace="CELERY")

# Load task modules from all registered Django apps.
app.autodiscover_tasks()

app.conf.task_time_limit = 5
app.conf.task_soft_time_limit = 1

settings/celery.py（已导入到应用配置中） #

from kosa_api.settings.utils import get_safe_redis_url

CELERY_WORKER_HIJACK_ROOT_LOGGER = False

REDIS_URL = get_safe_redis_url()
CELERY_BROKER_URL = f"{REDIS_URL}/0"
CELERY_RESULT_BACKEND = f"{REDIS_URL}/2"

# only store results for a while to prevent redis from filling up
CELERY_RESULT_EXPIRES = timedelta(minutes=30)

# in tests, run celery tasks as regular functions
CELERY_TASK_ALWAYS_EAGER = TEST
CELERY_TASK_ACKS_LATE = True

# i tried all of the following, but none took effect:
# CELERY_CELERYD_SOFT_TIME_LIMIT = 1
# CELERY_CELERYD_TIME_LIMIT = 5
# CELERY_TASK_SOFT_TIME_LIMIT = 1
# CELERY_TASK_TIME_LIMIT = 5

排查与解决步骤 #

1. 检查Eager模式是否开启
   当CELERY_TASK_ALWAYS_EAGER = True（即TEST变量为True时），任务会在当前进程同步执行，Celery不会启动独立工作进程管理超时，导致配置失效。确认本地运行时TEST为False，关闭eager模式。

2. 修正配置项命名
   Celery 5.x中全局任务超时的正确Django配置项为：

   • 软超时：CELERY_TASK_SOFT_TIME_LIMIT = 1
   • 硬超时：CELERY_TASK_TIME_LIMIT = 5
     取消这两项的注释，确保它们未被TEST逻辑覆盖，且CELERY_TASK_ALWAYS_EAGER为False。

3. 排除命令行参数覆盖
   启动worker时如果通过命令行指定了--time-limit或--soft-time-limit，会覆盖配置文件设置。检查启动命令，移除这类参数。

4. 验证配置加载结果
   在celery.py中添加打印语句，确认配置是否正确加载：

   app.config_from_object("django.conf:settings", namespace="CELERY")
   app.autodiscover_tasks()
   
   app.conf.task_time_limit = 5
   app.conf.task_soft_time_limit = 1
   
   # 打印配置验证
   print(f"task_time_limit: {app.conf.task_time_limit}")
   print(f"task_soft_time_limit: {app.conf.task_soft_time_limit}")
   

   启动worker时查看控制台输出，确认配置值是否符合预期。

5. 测试任务级别配置
   直接在任务上指定超时，排除全局配置问题：

   @app.task(time_limit=5, soft_time_limit=1)
   def slow_task():
       import time
       time.sleep(10)
   

   若此配置生效，说明全局配置加载流程存在问题，需重新梳理配置加载顺序。

6. 确认并发模型
   确保worker使用默认的prefork并发模型，若使用gevent或eventlet协程模型，超时机制需额外配置（如安装对应补丁），本地测试建议先用默认模型。

内容的提问来源于stack exchange，提问作者tao_oat