如何在KubernetesPodOperator中安全使用AWS SecretsManager密钥作为环境变量

要将AWS SecretsManager中的密钥作为环境变量注入KubernetesPodOperator的Pod中，同时保证密钥不暴露，有两种常用的安全方案：

方案一：通过Kubernetes Secret中转（推荐静态密钥场景） #

先把AWS SecretsManager的密钥同步到Kubernetes Secret，再在Pod中引用这个Secret作为环境变量，避免直接在Pod中访问AWS服务。

1. 同步AWS SecretsManager密钥到Kubernetes Secret #

• 手动同步（临时测试用）：
  用AWS CLI获取密钥值并创建Kubernetes Secret：

  kubectl create secret generic dbt-secrets \
    --from-literal=DBT_USER=$(aws secretsmanager get-secret-value --secret-id arn::USER --query SecretString --output text)
  

• 自动同步（生产环境推荐）：
  使用External Secrets Operator (ESO)，配置SecretStore和ExternalSecret资源，让Kubernetes自动从AWS SecretsManager拉取并同步密钥，密钥更新时会自动同步到Kubernetes Secret。

2. 在KubernetesPodOperator中引用Kubernetes Secret #

使用SecretEnvVar从Kubernetes Secret中读取值并注入为环境变量：

from airflow.providers.cncf.kubernetes.operators.kubernetes_pod import KubernetesPodOperator
from airflow.providers.cncf.kubernetes.secret_env_var import SecretEnvVar

KubernetesPodOperator(
    task_id="run_dbt_job",
    image="your-dbt-image:latest",
    env_vars={"DBT_ENV": "uat"},  # 普通环境变量
    env=[
        SecretEnvVar(
            name="DBT_USER",       # Pod中使用的环境变量名
            secret_name="dbt-secrets",  # 之前创建的Kubernetes Secret名称
            key="DBT_USER"         # Secret中存储密钥的键名
        )
    ],
    namespace="your-namespace",
    get_logs=True
)

方案二：通过IRSA直接访问AWS SecretsManager（动态密钥场景） #

利用IAM Roles for Service Accounts (IRSA) 给Pod绑定IAM角色，让Pod直接在启动时从AWS SecretsManager拉取密钥，无需中转Kubernetes Secret。

1. 配置IRSA权限 #

• 创建IAM角色，给该角色添加仅允许访问目标密钥的权限策略：

  {
      "Version": "2012-10-17",
      "Statement": [
          {
              "Effect": "Allow",
              "Action": "secretsmanager:GetSecretValue",
              "Resource": "arn::USER"
          }
      ]
  }
  

• 将该IAM角色绑定到Kubernetes的服务账户（ServiceAccount），完成IRSA配置。

2. 在KubernetesPodOperator中动态获取密钥 #

在Pod的启动命令中，通过AWS CLI拉取密钥并设置为环境变量，再执行业务命令：

KubernetesPodOperator(
    task_id="run_dbt_job",
    image="your-dbt-image:latest",
    env_vars={"DBT_ENV": "uat"},
    command=[
        "/bin/sh",
        "-c",
        # 拉取密钥并注入环境变量，再执行dbt命令
        "export DBT_USER=$(aws secretsmanager get-secret-value --secret-id arn::USER --query SecretString --output text) && exec dbt run"
    ],
    service_account_name="dbt-irsa-sa",  # 绑定了IAM角色的服务账户
    namespace="your-namespace",
    get_logs=True
)

注意：镜像中需要预先安装AWS CLI，或者用AWS SDK编写脚本拉取密钥。

安全注意事项 #

• 遵循最小权限原则：无论是IAM角色还是Kubernetes Secret权限，只授予必要的访问权限。
• 避免日志泄露：确保启动命令或脚本中不会打印密钥值（如不要用echo $DBT_USER）。
• 不要硬编码敏感信息：密钥ARN可以通过Kubernetes ConfigMap或Airflow变量管理，避免直接写在代码中。

内容的提问来源于stack exchange，提问作者Atif