如何防止Airflow调度器重启或DAG修改时意外触发任务？

1. 关闭补跑，阻止调度器重启后批量触发任务 #

在DAG定义中添加catchup=False配置，这是解决补跑问题的核心设置。它会告诉Airflow不要补跑start_date到当前时间之间遗漏的所有调度周期任务，只按后续的调度时间正常执行。

示例代码：

from datetime import datetime
from airflow import DAG
from airflow.operators.bash import BashOperator

default_args = {
    'owner': 'airflow',
    'start_date': datetime(2024, 1, 1),  # 固定起始日期，禁止用动态值
}

with DAG(
    'my_production_dag',
    default_args=default_args,
    schedule_interval='0 2 * * *',  # 每日凌晨2点调度
    catchup=False,  # 禁用补跑
    tags=['production'],
) as dag:
    task1 = BashOperator(
        task_id='task1',
        bash_command='echo "Hello World"',
    )

如果要全局禁用所有新DAG的补跑功能，可修改airflow.cfg配置文件：

[core]
default_catchup = False

已存在的DAG仍需单独设置catchup=False才会生效。

2. 防止修改DAG时意外触发任务 #

修改DAG后触发任务，通常是以下原因导致，对应解决方法：

• 动态start_date引发DAG标识变更：绝对不要用datetime.now()这类动态值作为start_date，必须设置固定的日期时间（如示例中的datetime(2024, 1, 1)），否则每次部署DAG都会被识别为新的DAG版本，触发调度。
• 仅允许手动触发：如果不需要调度器自动执行，完全依赖手动触发，可将schedule_interval设为None：

  with DAG(
      'my_manual_dag',
      default_args=default_args,
      schedule_interval=None,  # 关闭自动调度，仅支持手动触发
      catchup=False,
      tags=['manual'],
  ) as dag:
      # 任务定义
  

  此时只能通过Airflow UI的「Trigger DAG」按钮、CLI命令airflow dags trigger my_manual_dag或API触发任务。

3. 清理已存在的待补跑任务 #

如果已经有大量待运行的补跑任务堆积，可通过以下方式清除：

• UI操作：进入目标DAG的「Tree View」或「Graph View」，选中所有状态为scheduled或queued的任务实例，点击「Clear」按钮批量清除。
• CLI命令：指定时间范围清除目标DAG的待运行任务：

  airflow dags clear -s 2024-01-01 -e 2024-05-20 my_production_dag
  

内容的提问来源于stack exchange，提问作者Steve Scott