Airflow CeleryExecutor任务状态不匹配问题排查求助（Azure K8s环境）

问题背景 #

我们在Azure Kubernetes环境中部署Airflow，每日多次出现任务状态异常问题，恳请协助排查根本原因：

• 生产环境使用Helm Chart自带的、启用pgbouncer的PostgreSQL；非生产环境正在测试启用pgbouncer的Azure灵活服务器（外部PostgreSQL），但无论使用哪种PostgreSQL类型，均出现相同异常
• 异常表现：任务实例处于queued状态却从未执行，CeleryExecutor(parallelism=48)报告该任务实例已以failed状态结束，但任务实例的状态属性仍显示为queued

错误详情 #

Executor CeleryExecutor(parallelism=48) reported that the task instance <TaskInstance: DAGNAME.TASK [queued]> finished with state failed, but the task instance's state attribute is queued.

环境配置 #

• Airflow镜像版本：2.11.0
• 缓存组件：redis/valkey
• 执行器：Celery

相关截图 #

• 任务状态异常截图1
• 任务状态异常截图2

内容的提问来源于stack exchange，提问作者Bala Murali