Celery:如何在任务运行中检查Worker是否已接收SIGTERM信号
Celery长任务检测Worker待终止状态实现方案
核心原理
Celery Worker收到系统发来的SIGTERM信号时,会优先进入优雅关机(warm shutdown)流程,并不会立刻终止进程。这个流程启动后,Worker会在自身内部维护一个全局的待终止状态标记,所有正在运行的任务都可以通过这个标记判断当前Worker是否已经进入停机流程,不需要自己单独注册信号处理函数做状态记录。
缺失的检测函数实现
直接读取Celery内置的Worker状态即可,不需要额外的信号监听逻辑:
def did_this_worker_received_SIGTERM_and_waiting_to_be_terminated() -> bool: from celery import current_app worker = current_app.worker # 非Worker运行环境(比如本地调试执行)直接返回False if not worker: return False # 读取Worker内部状态,匹配是否已经触发优雅关机流程 return worker._shutdown is True
说明:
worker._shutdown是Celery收到SIGTERM后第一时间置为True的内部属性,设置时机早于任务中断、进程退出的时机,在Celery 4.x、5.x全正式版本中都可稳定读取,检测可靠性很高。
配套的任务续跑实现
检测到Worker待终止状态后,需要主动触发任务重投,把已完成的进度同步传入新的任务实例,实现续跑:
from celery import current_app # 配置任务支持无限次重试,靠幂等逻辑保证不重复执行 @current_app.task(bind=True, max_retries=None) def some_task(self, already_processed_index=0): # 从上次中断的位置开始遍历 for step in range(already_processed_index, TOTAL_STEP_COUNT): # 在每个独立可持久化的步骤后插入检测点 if did_this_worker_received_SIGTERM_and_waiting_to_be_terminated(): # 把当前进度作为参数传入新的任务实例,立刻重投到队列 raise self.retry( kwargs={"already_processed_index": step}, countdown=0 ) # 执行实际的任务逻辑 do_some_work(step=step)
必须注意的配置与避坑点
- 调整Worker的优雅停机等待时长:配置
worker_shutdown_timeout参数,给正在运行的任务留够足够的时间检测状态、保存进度、主动退出,避免SIGTERM超时后被直接发SIGKILL强杀,导致进度丢失 - 保证任务逻辑幂等:重投的任务会从传入的进度点开始续跑,需要避免已完成的步骤被重复执行,带来业务异常
- 不要在任务代码里单独注册SIGTERM信号处理函数:Celery本身已经对SIGTERM做了全Worker范围的处理,自定义的信号处理会覆盖Celery的原生逻辑,导致停机状态标记失效,甚至出现Worker无法正常退出的问题
- 检测点粒度要匹配业务:不需要在微秒级的高频循环里反复检测,一般每完成一个可独立校验进度的步骤后检测一次即可,减少不必要的性能开销
- 检测到待终止状态后不要直接退出循环:直接退出会导致任务被标记为执行成功,不会触发重投,必须通过主动抛出任务重试异常的方式,才能把任务重新放回队列供其他Worker执行
内容的提问来源于stack exchange,提问作者user972014
相关产品推荐
相关产品推荐

