You need to enable JavaScript to run this app. Airflow 定时执行远程SSH命令的DAG出现无停止循环执行故障
优惠活动
大模型
产品
解决方案
定价
更多

Airflow 定时执行远程SSH命令的DAG出现无停止循环执行故障

Airflow DAG 高频无限执行问题排查与修复

问题根源

  • 未显式关闭补跑(catchup)机制:Airflow默认catchup=True,会自动补跑start_date到当前时间范围内所有未执行的调度实例。你设置的调度间隔为1分钟,若部署DAG的时间晚于start_date(days_ago(0)即当日UTC零点),系统会一次性生成大量待执行的DAG实例排队运行,视觉上呈现每秒持续执行的效果。
  • 动态start_date不符合规范:使用days_ago(0)作为启动日期属于动态时间,每次DAG文件被解析时该值都会更新,容易引发调度逻辑异常,导致重复生成任务实例。

修复步骤

  1. 先在Airflow控制台暂停当前DAG的调度,删除所有排队中/运行中的DAG实例,避免资源持续消耗。
  2. 修改DAG配置,添加catchup=False关闭补跑,同时将start_date替换为固定静态日期:
from datetime import datetime
# 其余导入逻辑保持不变

default_args = {
    'owner': 'airflow',
    'depends_on_past': False,
    # 替换为你实际需要的固定启动日期
    'start_date': datetime(2024, 1, 1),
    'email': ['e@example.com'],
    'email_on_failure': False,
    'email_on_retry': False,
}
dag = DAG(
    'ssh_second',
    default_args=default_args,
    description='A simple bash DAG LAB',
    schedule_interval=timedelta(minutes=1),
    tags=['test'],
    # 新增参数关闭补跑
    catchup=False
)
# 其余任务定义逻辑保持不变
  1. 重新提交修改后的DAG文件,等待Airflow解析完成后重新开启调度即可。

额外优化建议

  • 可根据需要在DAG配置中添加max_active_runs=N(N为允许同时运行的最大DAG实例数,一般设为1~3即可),避免并发任务过多占用资源。
  • 若确实需要补跑历史任务,可通过Airflow的回填功能单独触发,不要长期开启默认补跑机制。

内容的提问来源于stack exchange,提问作者Ehsan Gholami

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.19 12:45:04