Django Celery如何实现任务执行完成后自动重启
Django Celery 异步任务执行完成后自动重启实现方案
针对你给出的示例任务,有两种常用的实现方式:
方案1:任务内部主动触发下一次执行
在任务的执行逻辑末尾,主动提交当前任务的下一次异步实例即可,配合异常捕获逻辑可以保证无论任务成功还是失败都能正常重启:
@app.task(bind=True) def Task1(self): try: print("this is task 1") # 此处放置你的原有业务逻辑 return "Task-1 Done" finally: # 放在finally块保证无论任务执行是否报错,结束后都会触发下一次执行 # 如果仅需要任务执行成功后才重启,把这行放到return之前即可 Task1.delay()
你第一次触发任务只需要正常调用Task1.delay(),之后任务就会在每次执行完成后自动触发下一次运行。
方案2:通过Celery回调参数指定重启逻辑
你也可以在第一次提交任务时,通过apply_async的link参数指定任务完成后的回调,直接将任务自身的签名作为回调即可实现自动重启:
# 第一次提交任务时指定回调 Task1.apply_async(link=Task1.s())
如果需要任务执行失败时也触发重启,可以额外配置link_error参数:
Task1.apply_async(link=Task1.s(), link_error=Task1.s())
注意事项
- 一定要配置终止条件:没有终止逻辑的任务会无限循环运行,非常容易耗尽服务器资源,建议根据业务需求加上终止判断,比如达到指定运行次数、业务状态满足终止条件时就不再调用下一次任务
- 避免任务堆积:如果你的任务执行耗时很短,无限重启可能会导致Celery队列内任务快速堆积,建议根据实际场景添加适当的休眠逻辑,或者调整worker的并发配置
- 完善异常捕获:如果任务内抛出未捕获的异常且没有对应的兜底逻辑,可能会导致重启流程中断,建议根据业务需要做好异常处理
内容的提问来源于stack exchange,提问作者Prabhat
相关产品推荐
相关产品推荐

