Composer Scheduler未按计划触发DAG问题求助
DAG未按预期触发的排查与解决
问题根源
你的DAG配置中,start_date使用了动态值pendulum.today(),这会导致每次Airflow调度器刷新DAG定义时,start_date都会被重新计算为当前日期。Airflow的调度逻辑依赖固定的起始日期来计算任务执行窗口,动态变化的start_date会让调度器始终认为DAG的起始时间是当天,无法触发预期的调度任务,哪怕系统显示的「Next Run」日期看似正确。
修复方案
- 将
start_date改为固定的历史日期,示例:
import pendulum default_args = { "start_date": pendulum.datetime(2022, 8, 23, tz="UTC"), # 固定为早于当前日期的时间 "retries": 0, } schedule_interval: str = "1 0 * * *"
注意必须指定时区(推荐用UTC,和Airflow默认时区保持一致),避免时区偏差导致的调度异常。
- 确认时区一致性:如果你的预期执行时间是本地时区,需要确保Airflow的核心时区配置(
default_timezone)与start_date、schedule_interval的时区匹配,或者直接将cron表达式转换为UTC时间配置。
补充说明
Airflow 2.2.5+composer版本同样不支持动态start_date作为DAG的固定起始点,调度器只会基于固定的起始时间来生成任务实例,动态值会持续干扰调度逻辑。
内容的提问来源于stack exchange,提问作者Montenegrodr
相关产品推荐
相关产品推荐

