Celery Chord依赖任务报错触发ChordError，已处理仍存冗余日志

这不是Celery的Bug，而是Chord组件的默认设计行为：当Chord包含的并行组任务（比如你提到的t1、t2）失败时，Chord会自动生成ChordError并抛出，即便你已经通过自定义error_handler处理了错误，Worker的默认日志处理器依然会捕获这个异常并打印完整堆栈，造成日志冗余。

下面是两种可行的解决方法：

方法一：自定义Worker日志过滤器，过滤ChordError日志 #

通过给Worker日志系统添加过滤器，直接拦截掉ChordError相关的日志输出：

1. 编写日志过滤器类

import logging
from celery.exceptions import ChordError

class ChordErrorFilter(logging.Filter):
    def filter(self, record):
        # 检查日志记录是否包含ChordError异常
        if record.exc_info:
            exc_type, _, _ = record.exc_info
            if exc_type is ChordError:
                return False  # 返回False表示不记录该日志
        return True

2. 在Celery配置中注册这个过滤器

CELERY_LOGGING = {
    'version': 1,
    'disable_existing_loggers': False,
    'filters': {
        'chord_error_filter': {
            '()': 'your.module.path.ChordErrorFilter',
        },
    },
    'handlers': {
        'console': {
            'class': 'logging.StreamHandler',
            'filters': ['chord_error_filter'],
            'formatter': 'standard',
        },
    },
    'loggers': {
        'celery': {
            'handlers': ['console'],
            'level': 'INFO',
            'propagate': True,
        },
    },
    'formatters': {
        'standard': {
            'format': '%(asctime)s - %(name)s - %(levelname)s - %(message)s',
        },
    },
}

启动Worker时加载这个配置，就能自动过滤掉ChordError的冗余堆栈日志。

方法二：修改Chord执行逻辑，避免抛出ChordError #

通过调整Chord的调用方式，不让异常冒泡到Chord层面触发默认的ChordError：

1. 给并行组任务添加内部异常处理
   在t1、t2任务内部捕获异常，处理后返回标记状态，而不是直接抛出异常：

@app.task(bind=True)
def t1(self):
    try:
        # 原任务逻辑
        raise Exception("模拟外部失败")
    except Exception as e:
        # 自定义错误处理逻辑
        error_handler(e)
        return {"status": "failed", "error": str(e)}  # 返回失败标记，不抛出异常

2. 在收尾任务t3中判断并行任务的执行状态
   在t3中检查t1、t2的返回结果，手动处理失败情况，而不是依赖Chord的默认错误触发：

@app.task
def t3(results):
    for res in results:
        if res.get("status") == "failed":
            # 处理并行任务失败的逻辑
            pass
    # 原收尾任务逻辑

这种方式从根源上避免了Chord抛出ChordError，自然也就不会产生冗余日志。

内容的提问来源于stack exchange，提问作者ajn