如何用Terraform或其他IaC方案生成Istio多主部署的远程密钥？

可以手动生成这个用于跨集群服务发现的Istio远程密钥（Secret），完全能纳入Terraform等IaC部署流程，具体步骤如下：

1. 明确Secret的核心结构 #

这个Secret默认创建在istio-system命名空间，名称格式通常为istio-remote-cluster-<集群名称>，类型为kubernetes.io/config，其data字段下的kubeconfig是base64编码的kubectl配置文件，核心要求是：

• 包含目标集群的API服务器地址、CA证书
• 关联一个拥有足够权限的服务账号令牌，用于访问目标集群的服务发现相关资源

2. 准备目标集群的权限与服务账号 #

首先在需要被发现的远程集群中，创建专用的服务账号并绑定必要权限：

• 创建服务账号：

  kubectl create sa istio-cross-cluster -n istio-system
  

• 创建ClusterRole，定义服务发现所需的最小权限：

  apiVersion: rbac.authorization.k8s.io/v1
  kind: ClusterRole
  metadata:
    name: istio-cross-cluster-discovery
  rules:
  - apiGroups: [""]
    resources: ["endpoints", "services", "pods", "namespaces"]
    verbs: ["get", "list", "watch"]
  - apiGroups: ["discovery.k8s.io"]
    resources: ["endpointslices"]
    verbs: ["get", "list", "watch"]
  

• 绑定ClusterRole到服务账号：

  kubectl create clusterrolebinding istio-cross-cluster-discovery \
    --clusterrole=istio-cross-cluster-discovery \
    --serviceaccount=istio-system:istio-cross-cluster
  

3. 收集kubeconfig所需的核心信息 #

从远程集群中提取以下内容：

• 集群API服务器地址：

  kubectl config view --minify -o jsonpath='{.clusters[0].cluster.server}'
  

• 集群CA证书（base64编码格式）：

  kubectl get secret $(kubectl get sa istio-cross-cluster -n istio-system -o jsonpath='{.secrets[0].name}') -n istio-system -o jsonpath='{.data.ca\.crt}'
  

• 服务账号令牌（base64编码格式）：

  kubectl get secret $(kubectl get sa istio-cross-cluster -n istio-system -o jsonpath='{.secrets[0].name}') -n istio-system -o jsonpath='{.data.token}'
  

4. 组装kubeconfig文件 #

将上述信息填入以下模板，保存为kubeconfig.yaml：

apiVersion: v1
clusters:
- cluster:
    certificate-authority-data: <远程集群CA证书的base64值>
    server: <远程集群API服务器地址>
  name: <远程集群名称>
contexts:
- context:
    cluster: <远程集群名称>
    user: istio-cross-cluster
  name: <远程集群名称>
current-context: <远程集群名称>
kind: Config
preferences: {}
users:
- name: istio-cross-cluster
  user:
    token: <服务账号令牌的base64值>

5. 生成并创建Secret #

• 将kubeconfig文件内容编码为base64（无换行）：

  cat kubeconfig.yaml | base64 -w 0
  

• 用Terraform定义这个Secret（示例）：

  variable "remote_cluster_name" {
    type = string
  }
  
  variable "remote_cluster_kubeconfig_base64" {
    type = string
  }
  
  resource "kubernetes_secret" "istio_remote_cluster" {
    metadata {
      name      = "istio-remote-cluster-${var.remote_cluster_name}"
      namespace = "istio-system"
    }
    type = "kubernetes.io/config"
    data = {
      kubeconfig = var.remote_cluster_kubeconfig_base64
    }
  }
  

• 也可以直接用kubectl创建（用于测试）：

  kubectl create secret generic istio-remote-cluster-<远程集群名称> \
    -n istio-system \
    --type=kubernetes.io/config \
    --from-file=kubeconfig=./kubeconfig.yaml
  

注意事项 #

• 权限要最小化：只给服务账号分配服务发现必需的权限，避免过度授权
• 令牌轮换：服务账号令牌有有效期，在IaC中可通过自动化脚本定期更新Secret中的令牌
• 验证：创建完成后，查看本地集群的istiod日志，确认能正常拉取远程集群的服务信息

内容的提问来源于stack exchange，提问作者Kyle Galloway