Airflow 1.10.15集成AWS Secrets Manager失败求助

• 修正backend_kwargs语法错误
  你的配置中backend_kwargs = {"connections_prefix": "airflow/test} 缺少闭合的双引号，正确格式应为：

  backend_kwargs = {"connections_prefix": "airflow/test"}
  

  语法错误会直接导致Secrets Manager后端加载失败，这是最优先排查的点。

• 验证Secrets Manager密钥的路径与格式

  • 密钥名称前缀需匹配配置逻辑：Airflow会在connections_prefix后自动追加/connections/来查找连接，所以你的密钥名称需以airflow/test/connections/开头（比如airflow/test/connections/postgres_prod）。
  • 密钥内容必须符合Airflow连接的JSON格式，示例：

    {
      "conn_type": "postgres",
      "login": "db_admin",
      "password": "xxxxxx",
      "host": "prod-db.example.com",
      "port": 5432,
      "schema": "main_db"
    }
    

  • 若配置变量，密钥前缀应为airflow/test/variables/，内容直接为变量值字符串。

• 确认IAM角色权限与实例关联

  • 确保IAM角色包含secretsmanager:GetSecretValue权限（读取密钥无需写权限），示例策略：

    {
      "Version": "2012-10-17",
      "Statement": [
        {
          "Effect": "Allow",
          "Action": "secretsmanager:GetSecretValue",
          "Resource": "arn:aws:secretsmanager:你的AWS区域:你的账号ID:secret:airflow/test/*"
        }
      ]
    }
    

  • 在EC2实例上执行aws sts get-caller-identity，验证当前身份是否为目标IAM角色，确认角色已正确关联到实例。

• 检查Airflow日志定位错误
  查看Airflow Webserver和Scheduler的日志（默认路径$AIRFLOW_HOME/logs），搜索SecretsManagerBackend关键词，日志会明确提示加载失败原因，比如权限不足、密钥不存在、格式不兼容等。

• 验证AWS SDK与环境配置

  • Airflow 1.10.15依赖boto3库，确保EC2上安装的boto3版本兼容（推荐1.18.x系列），可通过pip show boto3查看版本。
  • 确认EC2实例的AWS区域配置与Secrets Manager所在区域一致，执行aws configure get region检查默认区域。

• 直接测试AWS Secrets Manager API
  在EC2实例上用CLI测试密钥读取：

  aws secretsmanager get-secret-value --secret-id airflow/test/connections/你的连接名称
  

  若命令成功返回内容，说明权限与网络正常，问题出在Airflow配置；若失败，根据CLI错误提示（如AccessDeniedException、ResourceNotFoundException）针对性排查。

内容的提问来源于stack exchange，提问作者Saurabh Srivastava