Airflow DAG执行缓慢时启动重复实例问题求助

• 核心配置：max_active_runs参数
  在DAG定义中设置max_active_runs=1，就能限制同一时间该DAG只能有一个运行实例处于活跃状态。当旧实例还在运行时，新的调度实例会进入等待队列，直到旧实例执行完成后才会启动，完全匹配你遇到的场景。

  示例代码：

  from airflow import DAG
  from datetime import datetime
  
  with DAG(
      dag_id="hourly_task_dag",
      schedule_interval="@hourly",
      start_date=datetime(2024, 1, 1),
      max_active_runs=1,  # 关键配置，限制同一时间仅1个实例运行
      catchup=False  # 你提到的catch-up，若无需补跑历史任务可设置为False
  ) as dag:
      # 这里添加你的任务定义
  

• 额外说明：concurrency参数
  这个参数用于限制单个DAG同时运行的任务数量，和你当前遇到的实例级重复运行问题关联度不高，但如果后续遇到任务并发过多的情况可以参考配置。

内容的提问来源于stack exchange，提问作者owfgktalef