You need to enable JavaScript to run this app.
优惠活动
大模型
产品
解决方案
定价
更多

MWAA(AWS Airflow)更新S3中DAG脚本后自动回退问题求助

解决MWAA DAG自动回退至旧版本的缓存清除方案

MWAA会对S3中的DAG文件进行缓存,当DAG文件内容更新但命名未变时,可能出现同步异常导致自动回退至旧版本,状态显示'removed'通常是缓存与S3实际文件不一致引发的。以下是几种有效的缓存清除及修复方法:

  • 手动触发DAG同步
    在MWAA控制台的环境详情页切换到DAGs标签,点击右上角的刷新DAGs按钮,强制触发S3到Airflow的同步操作,直接拉取S3上的最新DAG文件。

  • 通过文件名变更强制失效缓存

    1. 登录S3控制台,找到目标DAG文件,临时修改文件名(例如原名为example_dag.py,改为example_dag-temp.py)
    2. 等待5-10分钟,让MWAA识别到该DAG已被移除
    3. 将文件名改回原名称,触发MWAA重新拉取最新的DAG内容,彻底清除旧缓存
  • 排查同步日志确认根因
    进入CloudWatch控制台,找到MWAA环境对应的日志组(格式为/aws/mwaa/[你的环境名称]),查看dag_processor_manager和task_logs日志,检查同步过程中是否存在权限错误、DAG语法错误等问题——部分情况下看似缓存问题,实际是同步失败后的回滚行为。

  • 调整DAG同步间隔(可选优化)
    若频繁出现缓存不一致问题,可在MWAA环境的配置页面,修改core.dag_dir_list_interval参数,缩短DAG目录的扫描间隔(默认300秒)。注意不要设置过短,避免增加S3请求量及MWAA负载。

内容的提问来源于stack exchange,提问作者TJ-AWS

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.08.06 15:01:00