Airflow 5.2.3:启用禁用DAG时如何避免执行过往调度任务?
Airflow 5.2.3 启用DAG时跳过过往调度任务的解决方法
核心配置:设置
catchup=False
在你的DAG定义代码里添加catchup=False参数,示例:from airflow import DAG from datetime import datetime with DAG( dag_id="your_dag_id", start_date=datetime(2024, 1, 1), schedule_interval="@daily", catchup=False, # 关键参数:启用后不补跑过往任务 default_args={"owner": "airflow"} ) as dag: # 任务定义...这个参数会让Airflow在DAG从禁用切换为启用时,只从下次调度时间开始执行,不会回溯生成过往的DAG Runs。
临时启用时跳过补跑(无需修改代码)
如果不想改动DAG代码,可通过Airflow CLI命令直接启用DAG并跳过补跑:airflow dags unpause --skip-catchup your_dag_id执行该命令后,DAG会被启用,且不会触发任何过往未执行的调度任务。
为什么删除运行历史没用?
Airflow的调度逻辑是基于DAG的start_date、schedule_interval和catchup参数计算需要生成的DAG Runs。即使你删除了已有的运行历史,只要catchup=True(默认值),Airflow仍会重新计算并生成所有过往应执行的DAG Runs,导致补跑。
内容的提问来源于stack exchange,提问作者priyanka mittal
相关产品推荐
相关产品推荐

