为什么Airflow scheduler无法自动调度运行我的DAG?
解决方案
核对调度逻辑匹配规则
Airflow采用「调度执行时间 = 数据周期结束时间」的设计,只有当系统时间超过start_date + 1个调度周期时才会触发首次自动调度。你当前配置的start_date(2021-08-05 00:45)和schedule_interval(每日00:45)完全对齐,若未开启回填(catchup),所有历史调度任务会被直接跳过,不会生成运行实例。调整catchup参数或start_date取值
Airflow 2.x版本默认catchup=False,不会自动回填start_date到当前时间之间的缺失任务,可按需选择两种修复方案:- 在DAG定义中新增
catchup=True参数,配合当前max_active_runs=1的配置避免历史任务扎堆运行 - 保持catchup关闭的情况下,将
start_date调整为「当前时间减去至少1个调度周期」的时间点,比如需要每日00:45调度时,将start_date设为昨天的00:45,到次日对应时间就会自动触发运行
- 在DAG定义中新增
排查Scheduler解析日志
前往Airflow Scheduler的日志目录,检索对应dag_id的解析记录,确认是否存在未捕获的语法错误、依赖包缺失、default_args未定义等问题:页面能正常显示DAG不代表Scheduler解析时无报错,解析失败的DAG会被Scheduler直接跳过调度。检查DAG基础配置
确认以下项符合要求:- DAG文件存放路径与
airflow.cfg中dags_folder配置一致 - DAG文件权限为Airflow运行用户可读,文件名不以双下划线开头、不含特殊字符
- 无状态为
running/queued的历史DAG运行实例占用max_active_runs配额,若存在可手动标记为成功/失败释放配额
- DAG文件存放路径与
内容的提问来源于stack exchange,提问作者Krystian L.
相关产品推荐
相关产品推荐

