K8s环境下Airflow2.0触发DAG访问无密钥Lambda的凭证报错问题
解决方案:Kubernetes 中 Airflow 2.0 无 AK/SK 访问 Lambda 配置方案
你为核心 Pod 添加的 IAM 角色注解未生效,是因为 Airflow 2.0 运行 DAG 任务的 Worker Pod 为动态生成,默认不会继承 Scheduler/Webserver 等核心 Pod 的配置,导致任务运行时无法通过 IRSA 读取到 AWS 凭据。
前置校验
- Kubernetes 集群已启用 IAM Roles for Service Accounts (IRSA) 能力(EKS 集群原生支持,自建集群需提前部署集群 OIDC 提供商)
- 已创建具备 Lambda 调用权限的 IAM 角色,且角色信任关系已配置为允许集群 OIDC 提供商下的 Airflow Service Account 扮演该角色
配置步骤
1. 绑定 IAM 角色到 Airflow Worker Service Account
如果通过 Helm 部署 Airflow,修改 values.yaml 中 Worker 相关配置,指定带 IAM 角色注解的 Service Account:
# 若使用 CeleryExecutor 配置 worker: serviceAccount: create: false name: <绑定IAM角色的ServiceAccount名称> annotations: eks.amazonaws.com/role-arn: arn:aws:iam::<AWS账号ID>:role/<Lambda调用IAM角色名> # 若使用 KubernetesExecutor 需额外补充以下配置,确保动态生成的Pod继承权限 kubernetesExecutor: serviceAccountName: <绑定IAM角色的ServiceAccount名称> annotations: eks.amazonaws.com/role-arn: arn:aws:iam::<AWS账号ID>:role/<Lambda调用IAM角色名>
配置完成后执行 helm upgrade 生效配置。
2. 修改 Airflow AWS 连接配置
默认 Airflow AWS Hook 会优先读取连接内配置的 Access Key/Secret Key,需清空对应字段强制走 IRSA 凭据链:
- 进入 Airflow Web 控制台,打开
Admin-Connections页面 - 找到你使用的 AWS 连接(默认名称为
aws_default),清空 Login(Access Key ID)和 Password(Secret Access Key)字段 - 在
Extra字段中填写{"region_name": "<Lambda所在AWS区域>"}后保存
3. 权限验证
你可以在 DAG 中添加测试任务验证凭据链路是否正常:
from airflow.decorators import dag, task from datetime import datetime import boto3 @dag(schedule=None, start_date=datetime(2024, 1, 1), catchup=False) def test_lambda_access(): @task def verify_identity_and_call_lambda(): # 打印当前使用的AWS身份,确认是否为配置的IAM角色 sts_client = boto3.client("sts") caller_identity = sts_client.get_caller_identity() print(f"当前使用身份ARN:{caller_identity['Arn']}") # 测试调用Lambda lambda_client = boto3.client("lambda", region_name="<Lambda所在区域>") invoke_resp = lambda_client.invoke(FunctionName="<你的Lambda函数名>") print(f"Lambda调用返回结果:{invoke_resp['Payload'].read().decode()}") verify_identity_and_call_lambda() test_lambda_dag = test_lambda_access()
触发该DAG运行,若日志中打印的身份ARN为你配置的Lambda调用角色,且Lambda调用正常返回,即配置生效。
报错排查
如果依然出现 Unable to locate credentials 报错,按以下顺序排查:
- 进入运行任务的 Worker Pod,确认是否存在
AWS_WEB_IDENTITY_TOKEN_FILE和AWS_ROLE_ARN两个环境变量,这两个是IRSA正常注入的标识 - 检查 IAM 角色的信任关系配置,参考示例如下:
{ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Principal": { "Federated": "arn:aws:iam::<AWS账号ID>:oidc-provider/oidc.eks.<区域>.amazonaws.com/id/<集群OIDC ID>" }, "Action": "sts:AssumeRoleWithWebIdentity", "Condition": { "StringEquals": { "oidc.eks.<区域>.amazonaws.com/id/<集群OIDC ID>:sub": "system:serviceaccount:<Airflow部署Namespace>:<绑定IAM角色的ServiceAccount名称>" } } } ] }
- 确认 IAM 角色的权限策略中包含
lambda:InvokeFunction权限,且资源范围包含你要调用的Lambda函数ARN
内容的提问来源于stack exchange,提问作者Rahul Agrawal
相关产品推荐
相关产品推荐

