如何在Celery任务最后一次重试失败时执行指定代码
实现方案
完全可以实现,以下是两种最常用的实现方式,可根据你的业务场景选择:
方案1:单任务内直接判断重试次数(适合单个任务定制逻辑)
你可以通过Celery任务实例的retries属性获取当前已重试的次数,和你设定的max_retries对比即可判断是否是最后一次重试失败,对应改造后的代码如下:
@shared_task(bind=True, max_retries=5) def mytask(self, someargs): try: do_some_io_operation() except SomeException as e: # 已重试次数等于最大重试次数时,说明是最后一次尝试失败 if self.retries >= self.max_retries: # 此处写你要执行的指定代码 your_custom_logic() # 直接return即可,不会抛出任何异常 return # 未达到重试上限则继续重试,可通过countdown设置重试间隔 self.retry(exc=e, countdown=3) # 任务执行/重试成功后走后续逻辑 # do some other stuff
这种方式不需要额外封装,逻辑全部收敛在当前任务内,修改简单。
方案2:重写任务失败回调(适合多任务复用相同逻辑)
如果有多个任务都需要类似的「重试耗尽后执行自定义逻辑、不抛出异常」的需求,可以封装通用的任务基类,重写Celery内置的on_failure回调:
from celery import Task class RetryFailBaseTask(Task): # 统一设置最大重试次数,也可以在单个任务装饰器中覆盖 max_retries = 5 def on_failure(self, exc, task_id, args, kwargs, einfo): # 判断是否是重试耗尽导致的失败 if isinstance(exc, self.MaxRetriesExceededError): # 此处写你要执行的指定代码 your_custom_logic() # 不调用父类的on_failure方法,就不会抛出异常上报失败 # 如果需要自定义任务最终状态,可以手动更新 # self.update_state(state="SUCCESS", meta={"msg": "重试耗尽已执行兜底逻辑"}) # 任务指定自定义基类即可 @shared_task(bind=True, base=RetryFailBaseTask) def mytask(self, someargs): try: do_some_io_operation() except SomeException as e: self.retry(exc=e, countdown=3) # do some other stuff
注意事项
- 如果你不希望任务在Celery后端被标记为
FAILURE状态,可以在执行完自定义逻辑后调用self.update_state(state='SUCCESS')手动修改最终状态。 - 两种方案都不会向外抛出异常,不会触发Celery默认的失败告警逻辑。
内容的提问来源于stack exchange,提问作者Martin Faucheux
相关产品推荐
相关产品推荐

