Terraform重建GKE集群报错：次要范围private-subnet-a不存在但实际存在

问题背景 #

修改集群配置后通过Terraform重建GKE集群时，触发指定次要范围不存在的报错。经核查，报错涉及的次要范围实际存在，且关联的private-subnet-a子网当前承载运行着Compute Engine虚拟机，无法通过删除子网重建的方式排障。

错误日志 #

Error: Error waiting for creating GKE cluster: Retry budget exhausted (80 attempts): Secondary range "private-subnet-a" does not exist in network "https://www.googleapis.com/compute/v1/projects/project-a-39823/global/networks/testing" , subnetwork "private-subnet-a".

触发问题的Terraform配置 #

resource "google_container_cluster" "primary" {
  depends_on = [var.depends_on_vpc]
  name     = "testing"
  network  = "testing"
  subnetwork = "private-subnet-a"
  location               = "us-west1-a"
  remove_default_node_pool = true
  initial_node_count = 1


  ip_allocation_policy {
    cluster_secondary_range_name = "private-subnet-a"
    services_secondary_range_name = "private-subnet-a"
  }

  private_cluster_config {
    enable_private_nodes = "true"
    enable_private_endpoint = "false" # 此选项将使集群可通过公共端点访问
    master_ipv4_cidr_block = "10.x.x.0/28"
  }

  maintenance_policy {

    daily_maintenance_window {
      start_time = "02:00"
    }
  }

}

根因分析 #

配置存在两处核心错误：

• 错将子网名称private-subnet-a作为次要IP范围名称传入配置。GCP VPC的次要IP范围是绑定在子网下的独立资源，与子网本身名称无关联，API查找时自然无法匹配到目标范围。
• 将同一个名称同时绑定给Pod网段、Service网段两个独立用途的次要范围，即便存在同名范围，也会因IP段冲突被GKE拒入。

解决步骤 #

• 执行以下命令，查看private-subnet-a子网下实际绑定的次要IP范围列表，获取每个范围的真实名称和对应CIDR段：

  gcloud compute networks subnets describe private-subnet-a --region us-west1
  

  输出结果中secondaryIpRanges字段即为所有可用的次要范围信息。
• 若子网下没有两个独立的可用次要范围，可直接通过以下命令给子网新增次要范围，该操作不会中断现有运行的Compute Engine虚拟机：

  gcloud compute networks subnets update private-subnet-a \
    --region us-west1 \
    --add-secondary-ranges gke-pod-range=10.20.0.0/14,gke-svc-range=10.24.0.0/20
  

• 修正Terraform配置中的ip_allocation_policy块，将两个参数替换为实际的次要范围名称：
• cluster_secondary_range_name 填写分配给Pod地址空间的次要范围名
• services_secondary_range_name 填写分配给Service ClusterIP地址空间的次要范围名
• 额外修正非规范写法：配置中enable_private_nodes = "true"属于类型不匹配写法，该参数为布尔类型，建议修正为enable_private_nodes = true，避免Terraform类型校验告警。
• 重新执行Terraform apply流程创建集群即可，无需删除现有子网或迁移其上运行的业务。

内容的提问来源于stack exchange，提问作者user630702