如何在AWS托管Airflow中运行DBT作业及报错问题咨询

解决方案 #

1. 依赖兼容性调整

AWS托管Airflow（MWAA）对第三方依赖的版本匹配要求很高，你需要先校验requirements.txt的配置：

• 如果你使用的是Airflow 2.x、Python 3.9的MWAA环境，dbt-core建议锁定1.4~1.7版本区间，避免版本过高带来的依赖冲突
• 不要在requirements.txt中声明dbt-airflow这类封装类第三方包，这类包会引入大量子依赖，极易触发MWAA Worker节点依赖安装超时或权限报错，用到的dbt调度逻辑直接用自定义Operator实现即可

2. 插件打包格式校验

MWAA要求plugins.zip的根目录直接存放插件文件，不能有嵌套目录：

• 本地解压你上传的plugins.zip，确认打开压缩包后直接可见dbt.py和env_var_plugin.py，不要嵌套额外的plugins/父级目录，这是MWAA插件加载失败的高频原因
• 确认dbt.py中的自定义Operator没有引入MWAA运行环境中不存在的依赖

3. 作业运行逻辑检查

• 先确认MWAA的执行角色已经配置了dbt作业需要的所有权限：包括目标数据源（Redshift/Athena等）的访问权限、dbt项目存储S3桶的读取权限、结果输出位置的写入权限
• 不要直接调用S3路径下的dbt项目，你需要在DAG中先添加同步步骤，将S3上的dbt项目全量同步到MWAA Worker的本地临时目录后，再执行dbt相关命令
• 确认环境变量注入逻辑正常，env_var_plugin.py的配置要和MWAA控制台配置的自定义环境变量匹配，避免密钥、连接串等配置读取失败

4. 错误日志定位

直接到对应MWAA环境关联的CloudWatch日志组查看Worker运行日志，日志会明确标注失败的具体原因：是依赖安装失败、插件加载失败、dbt命令不存在还是权限报错，根据具体报错定向调整即可。

内容的提问来源于stack exchange，提问作者Akash