Airflow DAG调度异常：月度与周度任务执行日期传递问题

核心背景 #

Airflow的logical_date（原execution_date）默认对应调度周期的起始时间，而非任务实际运行的日期。这是导致你两个DAG问题的核心原因：

• 月度DAG：11月1日运行时，调度周期是10月1日-11月1日，因此logical_date为10月1日
• 周度DAG：调度时间计算依赖start_date与时区的匹配度，配置不当会导致任务漏触发

一、月度DAG：传递实际运行日期给下游 #

要获取任务实际运行的日期（如11月1日），无需修改DAG的调度规则，直接在任务中引用调度周期的结束时间即可：

1. Python任务中获取运行日期 #

from airflow.decorators import task

@task
def downstream_task(**context):
    # 获取实际运行日期，格式为YYYY-MM-DD
    actual_run_date = context["data_interval_end"].strftime("%Y-%m-%d")
    # 将日期传递给查询或后续逻辑
    print(f"使用日期：{actual_run_date}")

2. SQL任务中直接引用模板变量 #

在SQL语句中通过Airflow模板直接插入周期结束日期：

SELECT * FROM target_table 
WHERE record_date = '{{ data_interval_end.strftime("%Y-%m-%d") }}'

二、周度DAG：修复2024-10-30未触发问题 #

问题原因 #

你的start_date设为2024-10-26（周六），且未指定时区，Airflow在计算第一个调度时间时可能出现偏差；同时start_date晚于最近的周三（10-23），导致调度逻辑识别异常。

解决方案 #

1. 指定UTC时区的start_date
   将start_date改为带时区的周三日期，确保与调度时间的UTC时区一致：

import pendulum
from datetime import datetime

@dag(
    dag_id="weekly_dag",
    description="Weekly pipeline",
    schedule="0 8 * * 3",
    # 设为2024-10-23（周三）并指定UTC时区
    start_date=pendulum.datetime(2024, 10, 23, tz="UTC"),
    catchup=False,
    default_args=default_args,
)

2. 检查Airflow全局时区配置
   确保Airflow配置文件中的default_timezone设置为UTC，避免时区转换导致的调度时间计算错误。

3. 验证调度时间
   通过Airflow UI的DAG详情页查看"Next Run"时间，确认是否为预期的周三08:00 UTC，若仍有问题可手动触发一次任务并观察后续调度逻辑。

通用规范 #

• 优先使用data_interval_end获取实际运行日期，logical_date仅用于表示调度周期的起始
• 所有日期配置（start_date、schedule）统一使用UTC时区，避免跨时区误差
• 任务中传递日期时，尽量使用Airflow模板变量（如{{ data_interval_end }}），减少手动拼接带来的错误

内容的提问来源于stack exchange，提问作者Dabe98