Airflow任务卡在running状态需两次清除才能执行，求助原因及解决方法

报错信息：Task is in the 'running' state which is not a valid state for execution. The task must be cleared in order to be run

可能成因 #

• 任务心跳丢失导致僵尸状态残留：执行PL/SQL的worker节点出现资源不足OOM、网络断连等异常时，仅终止了Airflow侧的执行进程，没有向scheduler回传任务结束状态，且Airflow无法感知数据库侧PL/SQL任务的实际运行状态，导致元数据中任务一直被标记为running。第一次清除仅修改了表层状态，未清理掉残留的任务实例锁，第二次清除才完成锁释放，因此可以正常执行。
• 元数据库状态冲突：并发调度时同一个任务实例被多次写入状态，task_instance表中存在多条冲突的状态记录，单次清除仅修改了最新一条记录的状态，残留的旧running状态记录仍会阻塞任务执行，需要第二次清除覆盖所有冲突记录。
• 执行器队列异常：如果使用CeleryExecutor，worker接收执行请求后异常退出，未确认消费队列消息，导致队列中残留重复的任务消息。第一次清除后旧消息被消费，再次触发running状态冲突，第二次清除时旧消息已过期，因此可正常运行。
• 超时配置未生效：未给任务配置显式超时规则，Airflow默认不会主动终止长时间卡在running状态的任务，导致异常状态一直残留。

对应解决方案 #

• 配置双层超时规则：给PL/SQL任务增加Airflow侧执行超时限制，配置execution_timeout=timedelta(minutes=2)（可根据实际运行时长调整，建议设置为实际耗时的3~5倍），超出时长后自动标记任务为失败释放状态；同时在PL/SQL执行客户端增加查询超时配置，避免数据库侧任务挂死无法被感知。
• 异常状态自动清理：可以通过两种方式实现无需手动清除：
  1. 新增前置检查任务，通过Airflow内置API查询当前PL/SQL任务实例的状态，如果检测到异常running状态，自动调用clear方法清理状态与残留锁，清理完成后再触发PL/SQL任务执行
  2. 直接通过定时任务或DAG启动钩子，检测元数据库task_instance表中对应任务的异常running记录，执行SQL强制更新状态：UPDATE task_instance SET state='failed' WHERE dag_id='<你的DAGID>' AND task_id='<PLSQL任务ID>' AND state='running' AND execution_date < NOW() - INTERVAL 10 MINUTE;
• 调整执行器配置：如果使用CeleryExecutor，开启task_acks_late = True配置，worker异常退出后未执行的任务消息会自动重新入队，避免重复消费冲突；同时配置soft_time_limit参数，任务超时后主动抛出异常回收worker资源。
• 关闭不必要的依赖限制：如果任务不需要依赖上一次调度的执行结果，将depends_on_past参数设为False，避免上一次调度的异常running状态阻塞本次任务执行。如果是Airflow 2.x版本，可以通过task_instance_mutation_hook钩子实现异常状态自动检测重置，无需人工介入。

内容的提问来源于stack exchange，提问作者cluis92