Airflow/MWAA中start_date设置后ds显示当前日期问题求助

1. 手动触发任务导致ds为当前日期 #

若你是通过Airflow UI手动点击「Trigger DAG」触发任务，Airflow会默认将ds设置为触发时的当前日期，而非按照start_date和schedule_interval计算的历史周期日期。只有调度器自动触发的补跑（catchup）任务，ds才会对应start_date之后的各个周期日期。

解决方法：

• 等待调度器自动触发补跑任务，或通过CLI命令触发指定日期的任务：

  airflow dags trigger -e 2022-07-20 ufc-main-dag
  

2. 时区不匹配 #

MWAA默认使用UTC时区，若你的start_date设置的是本地时区（如北京时间），实际生效的start_date会被转换为UTC时间，可能导致调度周期与预期不符，甚至看起来ds显示当前日期。

解决方法：

• 使用pendulum库（Airflow推荐）定义带时区的start_date：

  import pendulum
  start_date=pendulum.datetime(2022, 7, 20, tz="Asia/Shanghai")
  

• 或通过MWAA环境变量AIRFLOW__CORE__DEFAULT_TIMEZONE统一配置全局时区。

3. DAG历史状态影响 #

若该DAG之前已部署过，且start_date曾设置为更近的日期，Airflow元数据库会记录DAG的最后运行状态。即使你修改start_date为更早日期并设置catchup=True，调度器也不会自动触发更早的任务。

解决方法：

• 在Airflow UI进入该DAG页面，点击「Clear」按钮清除所有历史任务实例，让调度器重新计算并触发start_date之后的补跑任务；
• 或通过CLI命令清除：

  airflow dags clear -s 2022-07-20 ufc-main-dag
  

4. schedule_interval放置位置不规范 #

虽Airflow允许将schedule_interval放在default_args中，但该配置属于DAG级属性，直接在DAG初始化时指定更规范，可避免潜在优先级问题：

修改代码：

default_args = {
    "owner": "hello",
    "email_on_failure": "false",
    "retries": 1,
    "retry_delay": timedelta(minutes=1),
    "start_date": datetime(2022, 7, 20),
    "catchup": True,
}

with DAG(
    "ufc-main-dag",
    default_args=default_args,
    schedule_interval="@weekly"  # 移至此处
) as dag:
    # ... 任务定义

5. Airflow 2.x版本兼容性（针对MWAA） #

若你的MWAA使用Airflow 2.x版本，provide_context=True已被废弃，建议移除该参数（Airflow 2.x会自动传递上下文），避免潜在的上下文传递异常：

修改extractor_task定义：

extractor_task = PythonOperator(
    task_id="extractor_task",
    python_callable=trigger_extractor_lambda,
    # 移除provide_context=True
    dag=dag,
)

内容的提问来源于stack exchange，提问作者OctaveParango