Celery重试次数耗尽后如何处理异常并记录日志

我明白你的需求：当Celery任务的重试次数耗尽后，你希望捕获并记录最终的异常，而不是让它直接抛出并生成冗长的Traceback日志。下面给你两种实用的实现方式：

方法一：在任务内部判断重试次数，最后一次失败时记录异常 #

这种方式直接在任务的异常处理逻辑里判断是否已经用完重试次数，如果是，就自行记录异常并终止任务，避免继续抛出异常。

首先引入日志模块，再修改你的任务代码：

import random
import logging
from celery import Celery

# 配置基础日志
logging.basicConfig(level=logging.INFO)
logger = logging.getLogger(__name__)

app = Celery('add', broker='redis://localhost:6379/0')

@app.task(bind=True, max_retries=1)
def add(self, x, y):
    num = random.randint(1, 10)
    print num
    try:
        if num % 2:
            raise Exception(f"随机数{num}为奇数，任务失败")
        else:
            return x + y
    except Exception as e:
        # 检查是否已用尽重试次数
        if self.request.retries >= self.max_retries:
            # 记录异常，logger.exception会自动保留Traceback信息
            logger.exception(f"任务重试耗尽，最终执行失败，参数x={x}, y={y}")
            # 返回失败标识，让Celery标记任务为"成功完成"（避免触发默认错误日志）
            return f"任务执行失败：{str(e)}"
        # 还有剩余重试次数，继续重试
        self.retry(countdown=2, exc=e)

修改后，当重试次数用完时，任务会自行记录异常日志，然后返回失败信息，不会再抛出原始异常生成Traceback。

方法二：使用Celery的on_failure回调函数 #

Celery允许给任务绑定失败回调函数，当任务最终失败（包括重试耗尽）时会自动触发，你可以在回调里统一处理异常记录，实现业务逻辑和异常处理的分离。

代码示例：

import random
import logging
from celery import Celery

logging.basicConfig(level=logging.INFO)
logger = logging.getLogger(__name__)

app = Celery('add', broker='redis://localhost:6379/0')

def task_failure_handler(task_id, exc, args, kwargs, einfo):
    """任务失败时的统一处理回调"""
    logger.exception(f"任务 {task_id} 执行失败，参数：x={args[0]}, y={args[1]}，异常详情：")

@app.task(bind=True, max_retries=1, on_failure=task_failure_handler)
def add(self, x, y):
    num = random.randint(1, 10)
    print num
    if num % 2:
        raise Exception(f"随机数{num}为奇数，任务失败")
    else:
        return x + y

这种方式适合多个任务需要统一异常记录规则的场景。如果不想看到Celery默认的失败Traceback日志，可以修改Celery配置，添加worker_hijack_root_logger = False，然后自定义日志过滤规则。

内容的提问来源于stack exchange，提问作者Pratik Sharma