开启catchup=False后Airflow仍运行两个DAG实例的问题

首先得说，你遇到的这个现象其实是Airflow调度逻辑里一个容易被混淆的细节，并非catchup=False失效，核心原因和Airflow对DAG运行时间戳的定义以及启动调度器时的时间点有关。

为什么会出现两个实例？ #

Airflow的DAG运行时间戳对应的是它负责处理的时间间隔的结束时间，而不是开始时间。结合你的配置拆解来看：

• start_date=datetime(2019, 1, 1)（默认是当天00:00:00）
• schedule_interval=timedelta(days=2)

这意味着你的DAG运行时间点序列是：2019-01-03 00:00:00、2019-01-05 00:00:00……以此类推，每个时间点对应处理前2天的数据（比如2024-05-18 00:00:00的实例，处理的是2024-05-16到2024-05-18的数据）。

当你第一次启动调度器时，如果当前时间刚好处于两个连续运行时间点之间（比如当前时间是2024-05-19 10:00:00），Airflow会做两件事：

1. 识别出最近的已经过去的运行时间点（比如2024-05-18 00:00:00）——因为catchup=False只会跳过更早的所有错过实例，只运行这个最新的错过实例；
2. 同时，调度器会计算下一个应该运行的时间点（2024-05-20 00:00:00），如果当前时间已经接近甚至超过这个下一个时间点（比如你在2024-05-20 01:00:00启动调度器），Airflow会立刻触发这个下一个实例——这就导致你看到两个实例被运行。

另外还有个容易忽略的点：如果Airflow集群的时区设置和你本地时间不一致（比如Airflow用UTC，你本地是UTC+8），也可能导致时间点判断偏差，看起来像是多触发了一个实例。

如何确保只运行一次最新实例？ #

针对你的场景，有几个可行的调整方案：

1. 把start_date设为接近当前启动时间的点 #

既然你不需要追跑历史数据，完全可以把start_date设置成当前时间往前推一个schedule_interval的时间。比如你打算在2024-05-20启动调度器，start_date可以设为datetime(2024, 5, 18)（比当前早2天）。这样Airflow只会触发2024-05-20的实例，不会有之前的错过实例被触发。

2. 明确设置next_dagrun_data_interval_start（Airflow 2.2+） #

如果你用的是Airflow 2.2及以上版本，可以手动指定DAG的下一次运行间隔的开始时间，避免调度器自动计算出多个需要运行的实例：

from airflow.utils.dates import days_ago

dag = DAG(
    'name',
    catchup=False,
    default_args=default_args,
    schedule_interval=timedelta(days=2),
    next_dagrun_data_interval_start=days_ago(0)  # 也可以指定你想要的具体时间
)

3. 启动前清理旧的DAG实例（如果有遗留） #

如果你的DAG之前已经被Airflow解析过，可能存在遗留的任务实例或调度计划，可以先通过Airflow UI或CLI清理：

# 清理指定DAG的所有历史任务实例
airflow tasks clear name
# 清理DAG的调度计划，重置运行记录
airflow dags backfill name --start-date 2019-01-01 --end-date 2024-05-19 --reset-dagruns

4. 检查时区配置 #

确保Airflow的default_timezone配置和你预期的一致（在airflow.cfg中），避免时间计算偏差导致的额外实例触发。

验证catchup=False是否生效 #

你可以通过Airflow UI的DAG页面查看“Catchup”状态是否为Off，或者用CLI命令确认：

airflow dags show name --verbose | grep catchup

总结一下，你的catchup=False配置本身是有效的，出现两个实例是因为调度器启动时刚好触发了“最新错过的实例”和“当前应运行的实例”，通过调整start_date或明确指定下一次运行间隔就能解决这个问题。

内容的提问来源于stack exchange，提问作者xywz