Terraform配置K8s集群遇权限错误，求配置及Helm部署方案

错误提示明确：system:serviceaccount:default:cicd 用户没有集群级别创建namespace的权限。这是因为你创建的cicd ServiceAccount仅拥有Kubernetes默认的最小权限，未被授予对应的RBAC权限。

要解决权限问题，需要通过RBAC（基于角色的访问控制）给cicd ServiceAccount授予管理namespace的权限，具体步骤如下：

1. 创建ClusterRole（定义权限规则） #

创建一个允许管理namespace资源的ClusterRole，保存为clusterrole-namespace-manager.yaml：

apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
  name: namespace-manager
rules:
- apiGroups: [""]
  resources: ["namespaces"]
  verbs: ["create", "get", "list", "update", "patch", "delete"]

执行命令应用：

kubectl apply -f clusterrole-namespace-manager.yaml

2. 绑定ClusterRole到ServiceAccount #

创建ClusterRoleBinding，将上述ClusterRole与default命名空间下的cicd ServiceAccount绑定，保存为clusterrolebinding-cicd.yaml：

apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
  name: cicd-namespace-manager
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: ClusterRole
  name: namespace-manager
subjects:
- kind: ServiceAccount
  name: cicd
  namespace: default

执行命令应用：

kubectl apply -f clusterrolebinding-cicd.yaml

1. 修正Terraform配置 #

确保Terraform的kubernetes和kubectl provider使用的是cicd ServiceAccount的有效token，获取token的命令：

kubectl create token cicd --duration=999999h

替换provider配置中的token字段。

2. 添加Helm Chart部署示例 #

在你的Terraform脚本中加入Helm资源部署逻辑，比如部署nginx-ingress到创建的namespace中：

# 原有Terraform配置...

resource "helm_release" "nginx_ingress" {
  name       = "nginx-ingress"
  repository = "https://kubernetes.github.io/ingress-nginx"
  chart      = "ingress-nginx"
  namespace  = kubernetes_namespace.example.metadata[0].name

  set {
    name  = "controller.service.type"
    value = "NodePort"
  }
}

3. 执行部署 #

运行以下Terraform命令完成部署：

terraform init
terraform plan
terraform apply

4. 验证结果 #

检查namespace和Helm Chart是否部署成功：

kubectl get ns terraform-example-namespace
helm list -n terraform-example-namespace

内容的提问来源于stack exchange，提问作者Peter Penzov