本地Docker部署MWAA配置SecretsManager后端提示无法定位凭证

问题原因 #

SecretsManager 秘密后端的初始化逻辑在 Airflow 服务启动阶段就会执行，这个阶段早于任务执行流程，默认不会主动读取 Airflow 元数据库中存储的 aws_default 连接凭证，只会遵循 Boto3 SDK 的默认凭证链按顺序查找凭证：环境变量、~/.aws/ 目录下的配置文件、云实例绑定的 IAM 角色等，这也是你配置了 ~/.aws/config 后问题自动解决的原因。

配置使用 Airflow 中存储的 aws_default 连接 #

你不需要依赖本地文件配置，直接修改 airflow.cfg 中的 backend_kwargs 配置，新增 aws_conn_id 参数指定要使用的 AWS 连接 ID 即可：

[secrets]
backend = airflow.providers.amazon.aws.secrets.secrets_manager.SecretsManagerBackend
backend_kwargs = {"connections_prefix" : "airflow/connections", "variables_prefix" : null, "config_prefix" : null, "aws_conn_id": "aws_default"}

修改完成后重启所有 Airflow 服务（scheduler、webserver、worker）即可生效，后续 SecretsManager 后端调用 AWS API 时会直接使用你在 Airflow 连接管理中配置的 aws_default 凭证。

注意事项 #

不要将 aws_default 连接本身存储到 SecretsManager 中，否则会出现循环依赖：SecretsManager 后端初始化需要先获取 aws_default 凭证，而该凭证又需要调用 SecretsManager 才能读取，最终会导致服务启动失败。

内容的提问来源于stack exchange，提问作者snir.isl