Airflow DAG每日重复执行两次异常求助：二次任务延迟触发

核心原因 #

你的DAG配置中设置了max_active_runs=1，这个参数的作用是限制该DAG同时只能有1个活跃运行实例。所以当第一次运行还在执行时，第二次触发的实例会进入排队状态，直到第一次运行结束才会启动。

具体建议 #

• 调整max_active_runs参数：如果需要允许每日两次运行同时执行，将该参数值修改为2（或更大的数值，根据你的需求），例如：

  with DAG(
      dag_id=f'xxx-etl_prod',
      default_args=l_default_args,
      schedule_interval=schedule_interval,
      catchup=False, 
      max_active_tasks=999,
      max_active_runs=2  # 允许同时运行2个实例
  ) as dag:
  

• 排查调度触发次数异常的原因：你的schedule_interval设置为1 0 * * * 1-5，理论上周一到周五每天仅触发一次。出现每日两次运行的情况，建议检查：
  • Airflow系统时区与DAG时区的一致性：确认Airflow的default_timezone配置是否与DAG使用的Australia/Brisbane时区匹配，避免时区转换导致的重复触发。
  • 是否存在手动触发记录：检查Airflow UI中的DAG运行记录，确认第二次运行是否为手动触发，而非调度器自动触发。
• 验证任务资源负载：如果调整max_active_runs后，需要确保你的Airflow集群（包括Executor、Worker等）有足够资源支持同时运行两个耗时4小时的DAG实例，避免出现资源耗尽导致任务卡顿的情况。

内容的提问来源于stack exchange，提问作者Ab Bennett