Airflow未按预期回填缺失日期问题排查求助

以下是针对该问题的可能原因及解决方法：

1. 检查DAG实例化时是否覆盖了catchup参数 #

虽然你在default_args中设置了catchup=True，但如果在DAG定义时显式指定了catchup=False，会覆盖默认参数的设置，导致自动回填失效。例如：

dag = DAG(
    "your_dag_id",
    default_args=default_args,
    catchup=False  # 此处会覆盖default_args中的配置
)

确认DAG实例化代码中没有显式设置catchup=False，确保catchup=True生效。

2. 手动触发的DAG Run干扰调度逻辑 #

手动触发未指定execution_date的DAG Run时，Airflow会生成一个以当前时间为execution_date的运行记录，这可能打乱调度器对缺失日期的判断逻辑，导致部分日期被跳过。

• 解决方式：删除所有手动触发的无指定execution_date的DAG Run，然后重启Airflow调度器，让调度器重新计算需要回填的日期范围。

3. 元数据库记录异常 #

Airflow依赖元数据库（如PostgreSQL、MySQL）中的dag_run表跟踪已调度的任务，如果某些缺失日期的记录状态异常（如标记为running但实际未执行，或记录丢失），调度器会跳过这些日期。

• 排查步骤：
  1. 查看dag_run表中缺失日期的记录是否存在，以及对应的状态；
  2. 使用airflow dags backfill命令强制回填指定日期范围，例如：

     airflow dags backfill -s 2022-01-01 -e $(date +%Y-%m-%d) your_dag_id
     

  3. 重启Airflow调度器和Webserver，确保调度器重新加载DAG配置。

4. max_active_runs限制导致回填任务阻塞 #

如果DAG设置了max_active_runs参数，当已有多个DAG Run在运行时，新的回填任务会被阻塞，直到有空闲的运行槽位，表现为部分日期未执行。

• 解决方式：临时调大max_active_runs的值（例如设为10），待回填完成后再恢复原有配置，确保调度器能同时处理多个回填任务。

5. 任务级别的依赖设置异常 #

虽然default_args中设置了depends_on_past=False，但个别任务可能显式设置了depends_on_past=True，或者上游任务存在未完成/失败的状态，导致后续任务无法触发。

• 排查步骤：检查每个任务的配置，确认没有任务级别的depends_on_past覆盖，同时查看上游任务的执行状态是否正常，清理失败或停滞的任务记录。

内容的提问来源于stack exchange，提问作者Simon Breton