Terraform部署EMR on EKS虚拟集群遇权限错误求助

1. 修正 EKS Blueprints 模块的命名空间配置 #

检查你使用的 aws-eks-blueprints 模块中 EMR on EKS 的配置块，部分版本的模块默认会创建 emr-on-eks-spark 而非指定的 emr 命名空间，需显式声明命名空间参数：

module "eks_blueprints" {
  source  = "aws-ia/eks-blueprints/aws"
  version = "<你的模块版本>"

  # 其他集群基础配置...

  emr_on_eks = {
    enable = true
    eks_namespaces = ["emr"] # 明确指定要创建的目标命名空间
    # 补充其他EMR相关配置：角色、执行角色ARN等
  }
}

执行 terraform apply 让模块接管并正确配置 emr 命名空间（若之前手动创建过，确保模块覆盖该命名空间的权限规则）。

2. 验证 EMR 服务角色的权限配置 #

EMR Containers 服务角色（通常为 AmazonEMRContainersServiceRole）需具备读取 EKS 命名空间的权限，检查并补全其策略：

• 信任策略需允许 emr-containers.amazonaws.com 扮演角色：

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Principal": {
        "Service": "emr-containers.amazonaws.com"
      },
      "Action": "sts:AssumeRole"
    }
  ]
}

• 权限策略需添加 EKS 命名空间的读取权限：

{
  "Effect": "Allow",
  "Action": [
    "eks:DescribeNamespace",
    "eks:ListNamespaces"
  ],
  "Resource": "arn:aws:eks:<你的区域>:<你的账号ID>:namespace/emr"
}

如果是模块自动创建的角色，确认模块参数是否正确注入了这些权限，若缺失则手动补充或调整模块配置。

3. 补全 EKS 命名空间的 RBAC 绑定 #

即使手动创建了 emr 命名空间，也需要确保 EMR 服务账户拥有访问权限，创建对应的 RoleBinding：

apiVersion: rbac.authorization.k8s.io/v1
kind: RoleBinding
metadata:
  name: emr-containers-rb
  namespace: emr
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: ClusterRole
  name: emr-containers-cluster-role
subjects:
- kind: ServiceAccount
  name: emr-containers-sa
  namespace: emr

执行 kubectl apply -f <上述文件路径> 完成绑定，确保 EMR 相关服务账户能读取该命名空间。

4. 重置虚拟集群资源状态 #

删除之前失败的虚拟集群状态记录：

terraform state rm aws_emrcontainers_virtual_cluster.<你的资源名称>

确认 emr 命名空间的配置和权限均生效后，重新执行 terraform apply 创建虚拟集群，此时 EMR 服务应能正常读取目标命名空间。

5. 升级模块版本规避兼容性问题 #

旧版本的 aws-eks-blueprints 模块可能存在 EMR on EKS 命名空间默认值的问题，尝试升级到稳定版本（如 >= v4.0.0），新版本对命名空间配置的灵活性更高，可避免默认创建错误命名空间的情况。

内容的提问来源于stack exchange，提问作者Staggerlee011