Airflow 定时执行远程SSH命令的DAG出现无停止循环执行故障
Airflow DAG 高频无限执行问题排查与修复
问题根源
- 未显式关闭补跑(catchup)机制:Airflow默认
catchup=True,会自动补跑start_date到当前时间范围内所有未执行的调度实例。你设置的调度间隔为1分钟,若部署DAG的时间晚于start_date(days_ago(0)即当日UTC零点),系统会一次性生成大量待执行的DAG实例排队运行,视觉上呈现每秒持续执行的效果。 - 动态
start_date不符合规范:使用days_ago(0)作为启动日期属于动态时间,每次DAG文件被解析时该值都会更新,容易引发调度逻辑异常,导致重复生成任务实例。
修复步骤
- 先在Airflow控制台暂停当前DAG的调度,删除所有排队中/运行中的DAG实例,避免资源持续消耗。
- 修改DAG配置,添加
catchup=False关闭补跑,同时将start_date替换为固定静态日期:
from datetime import datetime # 其余导入逻辑保持不变 default_args = { 'owner': 'airflow', 'depends_on_past': False, # 替换为你实际需要的固定启动日期 'start_date': datetime(2024, 1, 1), 'email': ['e@example.com'], 'email_on_failure': False, 'email_on_retry': False, } dag = DAG( 'ssh_second', default_args=default_args, description='A simple bash DAG LAB', schedule_interval=timedelta(minutes=1), tags=['test'], # 新增参数关闭补跑 catchup=False ) # 其余任务定义逻辑保持不变
- 重新提交修改后的DAG文件,等待Airflow解析完成后重新开启调度即可。
额外优化建议
- 可根据需要在DAG配置中添加
max_active_runs=N(N为允许同时运行的最大DAG实例数,一般设为1~3即可),避免并发任务过多占用资源。 - 若确实需要补跑历史任务,可通过Airflow的回填功能单独触发,不要长期开启默认补跑机制。
内容的提问来源于stack exchange,提问作者Ehsan Gholami
相关产品推荐
相关产品推荐

