开启retry_exponential_backoff后Airflow部分任务持续排队问题咨询

• 任务实例状态异常：启用retry_exponential_backoff后，若任务在重试流程中出现状态异常（比如卡在up_for_retry或queued状态，但调度器未正确识别其可执行状态），会导致该任务一直处于排队状态。即使后续DAG运行正常完成，旧的异常任务实例不会自动被清理或重新触发。
• 元数据库脏数据：Airflow的任务状态完全依赖元数据库记录，若数据库中该任务实例的状态字段出现错误（比如执行锁未释放、状态值存储异常），调度器会误判任务仍在等待，不会将其分配给worker执行。
• 调度器扫描遗漏：调度器定期扫描待执行的任务实例，若该任务对应的execution_date刚好处于调度器扫描间隔的盲区，或当时调度器进程出现短暂卡顿，会导致任务实例未被及时拾取。后续调度器可能未重新扫描到这个遗留的排队任务。
• 临时资源耗尽：任务进入排队状态时，所有可用的worker资源被其他并发任务占满。当资源释放后，调度器未将该任务实例重新纳入执行队列，而后续DAG运行能正常执行，说明资源仅为当时临时不足。
• 隐式依赖未满足：尽管depends_on_past已设为False，但任务可能存在未显式配置的依赖（比如跨DAG依赖未正确标记完成、外部系统的依赖信号未正常返回），导致任务一直等待依赖条件满足而无法触发执行。

内容的提问来源于stack exchange，提问作者Sekhar