MWAA(AWS Airflow)更新S3中DAG脚本后自动回退问题求助
解决MWAA DAG自动回退至旧版本的缓存清除方案
MWAA会对S3中的DAG文件进行缓存,当DAG文件内容更新但命名未变时,可能出现同步异常导致自动回退至旧版本,状态显示'removed'通常是缓存与S3实际文件不一致引发的。以下是几种有效的缓存清除及修复方法:
手动触发DAG同步
在MWAA控制台的环境详情页切换到DAGs标签,点击右上角的刷新DAGs按钮,强制触发S3到Airflow的同步操作,直接拉取S3上的最新DAG文件。通过文件名变更强制失效缓存
- 登录S3控制台,找到目标DAG文件,临时修改文件名(例如原名为
example_dag.py,改为example_dag-temp.py) - 等待5-10分钟,让MWAA识别到该DAG已被移除
- 将文件名改回原名称,触发MWAA重新拉取最新的DAG内容,彻底清除旧缓存
- 登录S3控制台,找到目标DAG文件,临时修改文件名(例如原名为
排查同步日志确认根因
进入CloudWatch控制台,找到MWAA环境对应的日志组(格式为/aws/mwaa/[你的环境名称]),查看dag_processor_manager和task_logs日志,检查同步过程中是否存在权限错误、DAG语法错误等问题——部分情况下看似缓存问题,实际是同步失败后的回滚行为。调整DAG同步间隔(可选优化)
若频繁出现缓存不一致问题,可在MWAA环境的配置页面,修改core.dag_dir_list_interval参数,缩短DAG目录的扫描间隔(默认300秒)。注意不要设置过短,避免增加S3请求量及MWAA负载。
内容的提问来源于stack exchange,提问作者TJ-AWS
相关产品推荐
相关产品推荐

