Terraform编辑EKS托管节点组触发RBAC权限错误排查

问题原因 #

虽然配置了aws_eks_cluster_auth获取认证Token，但Terraform处理EKS节点组变更时，可能存在Provider配置优先级问题、依赖关系缺失，导致部分Kubernetes API调用 fallback 到匿名用户，触发RBAC权限拦截。

解决步骤 #

1. 修正Kubernetes Provider配置，确保认证可靠 #

使用exec方式实时获取EKS认证Token（避免Token过期问题），并明确关联EKS集群资源：

data "aws_eks_cluster" "main" {
  name = module.eks.cluster_name
}

data "aws_eks_cluster_auth" "main" {
  name = module.eks.cluster_name
}

provider "kubernetes" {
  host                   = data.aws_eks_cluster.main.endpoint
  cluster_ca_certificate = base64decode(data.aws_eks_cluster.main.certificate_authority.0.data)
  
  # 用exec方式实时获取token，比直接引用token更可靠
  exec {
    api_version = "client.authentication.k8s.io/v1beta1"
    command     = "aws"
    args        = [
      "eks", "get-token",
      "--cluster-name", data.aws_eks_cluster.main.name,
      # 明确指定使用关联system:masters的IAM角色（如果当前默认身份不是该角色）
      "--role-arn", "arn:aws:iam::ACCOUNT_ID:role/YOUR_EKS_ADMIN_ROLE"
    ]
  }
}

2. 强制节点组资源依赖认证资源 #

在节点组模块中添加depends_on，确保Terraform在完成认证配置后再处理节点组变更：

module "eks_node_group" {
  source  = "terraform-aws-modules/eks/aws//modules/node_group"
  version = "~> 19.0"

  cluster_name    = module.eks.cluster_name
  cluster_version = module.eks.cluster_version
  subnet_ids      = module.vpc.private_subnets

  desired_size = 5
  # 其他节点组配置...

  depends_on = [data.aws_eks_cluster_auth.main]
}

3. 确认Terraform执行身份权限 #

运行以下命令，确认当前执行Terraform的AWS身份是关联了system:masters组的IAM角色：

aws sts get-caller-identity

同时用该身份生成kubeconfig，手动测试Kubernetes API权限：

aws eks update-kubeconfig --name YOUR_CLUSTER_NAME --role-arn YOUR_EKS_ADMIN_ROLE_ARN
kubectl get secrets -n tigera-operator
kubectl get configmap aws-auth -n kube-system

如果手动命令能成功，说明权限本身没问题，问题出在Terraform Provider配置。

4. 检查Helm Provider配置（若使用） #

如果用Helm部署了Tigera Operator，确保Helm Provider也使用相同的认证配置，并依赖aws_eks_cluster_auth：

provider "helm" {
  kubernetes {
    host                   = data.aws_eks_cluster.main.endpoint
    cluster_ca_certificate = base64decode(data.aws_eks_cluster.main.certificate_authority.0.data)
    exec {
      api_version = "client.authentication.k8s.io/v1beta1"
      command     = "aws"
      args        = [
        "eks", "get-token",
        "--cluster-name", data.aws_eks_cluster.main.name,
        "--role-arn", "arn:aws:iam::ACCOUNT_ID:role/YOUR_EKS_ADMIN_ROLE"
      ]
    }
  }

  depends_on = [data.aws_eks_cluster_auth.main]
}

总结 #

核心是确保Terraform在处理节点组变更时，始终使用配置好的具备system:masters权限的认证身份，通过明确Provider配置、强制依赖关系、验证执行身份权限这三点，即可解决匿名用户RBAC错误。

内容的提问来源于stack exchange，提问作者Bertone