You need to enable JavaScript to run this app. K8s环境下Airflow2.0触发DAG访问无密钥Lambda的凭证报错问题
优惠活动
大模型
产品
解决方案
定价
更多

K8s环境下Airflow2.0触发DAG访问无密钥Lambda的凭证报错问题

解决方案:Kubernetes 中 Airflow 2.0 无 AK/SK 访问 Lambda 配置方案

你为核心 Pod 添加的 IAM 角色注解未生效,是因为 Airflow 2.0 运行 DAG 任务的 Worker Pod 为动态生成,默认不会继承 Scheduler/Webserver 等核心 Pod 的配置,导致任务运行时无法通过 IRSA 读取到 AWS 凭据。

前置校验

  • Kubernetes 集群已启用 IAM Roles for Service Accounts (IRSA) 能力(EKS 集群原生支持,自建集群需提前部署集群 OIDC 提供商)
  • 已创建具备 Lambda 调用权限的 IAM 角色,且角色信任关系已配置为允许集群 OIDC 提供商下的 Airflow Service Account 扮演该角色

配置步骤

1. 绑定 IAM 角色到 Airflow Worker Service Account

如果通过 Helm 部署 Airflow,修改 values.yaml 中 Worker 相关配置,指定带 IAM 角色注解的 Service Account:

# 若使用 CeleryExecutor 配置
worker:
  serviceAccount:
    create: false
    name: <绑定IAM角色的ServiceAccount名称>
    annotations:
      eks.amazonaws.com/role-arn: arn:aws:iam::<AWS账号ID>:role/<Lambda调用IAM角色名>

# 若使用 KubernetesExecutor 需额外补充以下配置,确保动态生成的Pod继承权限
kubernetesExecutor:
  serviceAccountName: <绑定IAM角色的ServiceAccount名称>
  annotations:
    eks.amazonaws.com/role-arn: arn:aws:iam::<AWS账号ID>:role/<Lambda调用IAM角色名>

配置完成后执行 helm upgrade 生效配置。

2. 修改 Airflow AWS 连接配置

默认 Airflow AWS Hook 会优先读取连接内配置的 Access Key/Secret Key,需清空对应字段强制走 IRSA 凭据链:

  • 进入 Airflow Web 控制台,打开 Admin - Connections 页面
  • 找到你使用的 AWS 连接(默认名称为 aws_default),清空 Login(Access Key ID)和 Password(Secret Access Key)字段
  • 在 Extra 字段中填写 {"region_name": "<Lambda所在AWS区域>"} 后保存

3. 权限验证

你可以在 DAG 中添加测试任务验证凭据链路是否正常:

from airflow.decorators import dag, task
from datetime import datetime
import boto3

@dag(schedule=None, start_date=datetime(2024, 1, 1), catchup=False)
def test_lambda_access():
    @task
    def verify_identity_and_call_lambda():
        # 打印当前使用的AWS身份,确认是否为配置的IAM角色
        sts_client = boto3.client("sts")
        caller_identity = sts_client.get_caller_identity()
        print(f"当前使用身份ARN:{caller_identity['Arn']}")
        # 测试调用Lambda
        lambda_client = boto3.client("lambda", region_name="<Lambda所在区域>")
        invoke_resp = lambda_client.invoke(FunctionName="<你的Lambda函数名>")
        print(f"Lambda调用返回结果:{invoke_resp['Payload'].read().decode()}")
    
    verify_identity_and_call_lambda()

test_lambda_dag = test_lambda_access()

触发该DAG运行,若日志中打印的身份ARN为你配置的Lambda调用角色,且Lambda调用正常返回,即配置生效。

报错排查

如果依然出现 Unable to locate credentials 报错,按以下顺序排查:

  • 进入运行任务的 Worker Pod,确认是否存在 AWS_WEB_IDENTITY_TOKEN_FILE 和 AWS_ROLE_ARN 两个环境变量,这两个是IRSA正常注入的标识
  • 检查 IAM 角色的信任关系配置,参考示例如下:
{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Principal": {
        "Federated": "arn:aws:iam::<AWS账号ID>:oidc-provider/oidc.eks.<区域>.amazonaws.com/id/<集群OIDC ID>"
      },
      "Action": "sts:AssumeRoleWithWebIdentity",
      "Condition": {
        "StringEquals": {
          "oidc.eks.<区域>.amazonaws.com/id/<集群OIDC ID>:sub": "system:serviceaccount:<Airflow部署Namespace>:<绑定IAM角色的ServiceAccount名称>"
        }
      }
    }
  ]
}
  • 确认 IAM 角色的权限策略中包含 lambda:InvokeFunction 权限,且资源范围包含你要调用的Lambda函数ARN

内容的提问来源于stack exchange,提问作者Rahul Agrawal

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.17 14:45:09