Celery软时间限制无法生效问题求助

问题原因 #

你用-P eventlet启动Celery Worker时，Celery的task_soft_time_limit依赖操作系统的SIGALRM信号触发超时，但eventlet是用户态协程池，信号只会被主进程处理，无法打断正在运行的协程任务，导致软时间限制完全不起作用。

两种解决办法 #

办法一：改用进程/线程池启动Worker #

直接放弃eventlet协程池，使用Celery默认的prefork进程池或threads线程池，这样信号机制能正常工作，软时间限制会按预期触发。

启动命令改成：

# 默认prefork进程池
celery -A tasks worker --loglevel=info

# 或者用threads线程池
celery -A tasks worker --loglevel=info -P threads

这种方式无需修改任务代码，原有的task_soft_time_limit全局配置或任务级配置都会生效。

办法二：在eventlet环境下手动添加协程级超时 #

如果你必须保留eventlet协程（比如处理大量IO密集型任务），可以用eventlet自带的超时机制替代Celery的软时间限制，手动在任务代码中包裹超时逻辑。

修改tasks.py的代码：

import os
import time
import telebot
from dotenv import load_dotenv
from celery_app import app
from celery.exceptions import SoftTimeLimitExceeded
# 导入eventlet的超时模块
import eventlet
from eventlet.timeout import Timeout

load_dotenv()
CHAT_ID = os.getenv('CHAT_ID')
bot_token = os.getenv('BOT_API')
bot = telebot.TeleBot(bot_token)


@app.task
def time_task():
    try:
        # 设置3秒的协程超时，超时会抛出Timeout异常
        with Timeout(3, exception=SoftTimeLimitExceeded):
            time.sleep(10)
            bot.send_message(CHAT_ID, 'task is finished.')
    except SoftTimeLimitExceeded:
        bot.send_message(CHAT_ID, 'something went wrong.')

这样即使在eventlet协程池中，任务也会在3秒后触发超时，执行异常逻辑。

额外注意 #

• eventlet会自动monkey-patch标准库（包括time.sleep），所以任务中的time.sleep会变成协程友好的版本，但这和超时信号无关，不影响软时间限制的失效问题。
• 如果你的任务是IO密集型（比如大量HTTP请求、数据库操作），用办法二更合适；如果是CPU密集型任务，建议用办法一的进程池，协程对CPU密集型任务性能提升不大。

内容的提问来源于stack exchange，提问作者Maksim