Terraform动态创建Kubernetes provider适配多GKE集群部署

你遇到的几个报错本质都是不符合Terraform的基础语法和provider设计规则：

• 模块调用的providers传参块仅支持传入提前定义好的provider实例，不支持内联写provider块动态定义，这是你遇到Missing newline after argument语法错误的直接原因
• 被for_each/count调用的模块内部禁止声明provider实例，所有provider必须由上层调用方传入，这是Terraform官方明确的模块设计约束
• provider块本身不支持for_each/count元参数，直接在provider块写for_each会触发保留参数报错，这是当前Terraform版本的固定限制

该方案支持任意数量的GKE集群，除了集群参数列表外不需要为单集群编写重复配置，完全符合Terraform语法规范：

1. 统一抽离集群配置 #

首先把所有待创建集群的参数统一定义为局部值，后续所有批量逻辑都基于该配置遍历，增删集群只需要修改这一段配置：

locals {
  cluster_type = "simple-regional"
  gke_clusters = {
    us-central1 = {
      region                 = "us-central1"
      cluster_name_suffix    = "-us-central1"
      network                = "vpc-default"
      subnetwork             = "subnet-default-us-central1"
      ip_range_pods          = "pod-ip-range"
      ip_range_services      = "svc-ip-range"
    }
    asia-east1 = {
      region                 = "asia-east1"
      cluster_name_suffix    = "-asia-east1"
      network                = "vpc-default"
      subnetwork             = "subnet-default-asia-east1"
      ip_range_pods          = "pod-ip-range"
      ip_range_services      = "svc-ip-range"
    }
    # 新增集群直接追加键值对即可，不需要修改后续逻辑
  }
}

2. 批量创建GKE集群与认证资源 #

基于上面的集群配置，用for_each批量创建所有GKE集群和对应的认证信息：

data "google_client_config" "default" {}

module "gke" {
  for_each               = local.gke_clusters
  source                 = "../../"
  project_id             = var.project_id
  name                   = "${local.cluster_type}-cluster${each.value.cluster_name_suffix}"
  regional               = true
  region                 = each.value.region
  network                = each.value.network
  subnetwork             = each.value.subnetwork
  ip_range_pods          = each.value.ip_range_pods
  ip_range_services      = each.value.ip_range_services
  create_service_account = false
  service_account        = var.compute_engine_service_account
  skip_provisioners      = var.skip_provisioners
}

module "gke_auth" {
  for_each     = local.gke_clusters
  source       = "../../modules/auth"
  project_id   = var.project_id
  location     = module.gke[each.key].location
  cluster_name = module.gke[each.key].name
}

3. 自动生成多集群provider实例 #

Terraform 1.7及以上版本支持generate块动态生成配置文件，可以完全自动为每个集群生成带别名的kubernetes/helm provider实例，不需要手动为每个集群编写provider块：

# 执行plan时自动生成所有集群对应的kubernetes provider配置，增删集群自动同步
generate "kubernetes_providers" {
  path      = "generated_k8s_providers.tf"
  if_exists = "overwrite"
  contents = <<EOT
%{ for cluster_key, cluster_config in local.gke_clusters ~}
provider "kubernetes" {
  alias                  = "${cluster_key}"
  host                   = "https://${module.gke["${cluster_key}"].endpoint}"
  token                  = data.google_client_config.default.access_token
  cluster_ca_certificate = base64decode(module.gke["${cluster_key}"].ca_certificate)
}
%{ endfor ~}
EOT
}

如果使用低于1.7的Terraform版本，只需要在新增集群时，手动追加一个对应别名的kubernetes provider块即可，单集群provider配置仅需6行，维护成本极低。

4. 批量部署集群资源 #

遍历集群配置列表调用helm部署模块，每个模块实例传入对应别名的provider即可：

# 等待集群控制面就绪后再部署资源
resource "time_sleep" "wait_cluster_ready" {
  for_each     = local.gke_clusters
  create_delay = "60s"
  depends_on   = [module.gke, module.gke_auth]
}

module "helm_general" {
  source     = "../../modules/helm_general"
  for_each   = local.gke_clusters
  depends_on = [time_sleep.wait_cluster_ready]

  providers = {
    kubernetes = provider.kubernetes[each.key]
  }
}

• 被调用的helm_general模块内部不要定义任何kubernetes/helm相关的provider，所有provider实例统一由根模块传入，符合Terraform模块设计规范
• 第一次使用generate块时，需要先执行一次terraform plan生成provider配置文件，再执行apply，后续配置变更会自动更新生成的文件
• 如果需要用helm release部署资源，逻辑和kubernetes provider完全一致，只需要在generate块里追加对应别名的helm provider配置，调用模块时传入即可
• 不要尝试在模块调用的providers块内联定义provider，该写法不符合Terraform语法规则，会直接触发解析错误

内容的提问来源于stack exchange，提问作者tobias