Terraform部署GKE上的Dataproc集群报错：不支持virtual_cluster_config块

核心原因 #

你碰到的virtual_cluster_config块不被支持的错误，本质是使用的Terraform Google Provider版本过低。virtual_cluster_config是用来创建Dataproc on GKE虚拟集群的特性，仅在较新版本的Google Provider中提供支持。

解决步骤 #

1. 升级Google Provider版本

在你的Terraform根配置文件中，指定支持该特性的Provider版本（建议至少4.0.0及以上）：

terraform {
  required_providers {
    google = {
      source  = "hashicorp/google"
      version = ">= 4.0.0"
    }
  }
}

执行命令升级Provider：

terraform init -upgrade

2. 修正代码中的错误

你的配置里还有几处引用和逻辑问题需要调整：

• gke_cluster_target的引用错误：原代码中google_container_cluster.primary.id应该改为你的GKE集群资源名google_container_cluster.poc_primary_gke.id
• 节点池目标配置：如果复用已创建的my-node-pool，不需要嵌套node_pool_config块；如果要让Dataproc自动创建新节点池，确保配置参数正确

修正后的google_dataproc_cluster资源示例：

resource "google_dataproc_cluster" "dataproc_gke_cluster" {
  name     = "gke-dataproc-poc"
  region   = "europe-west1"
  graceful_decommission_timeout = "120s"

  labels = var.labels

  virtual_cluster_config {
    staging_bucket = google_storage_bucket.staging_bucket.name
    kubernetes_cluster_config {
      kubernetes_namespace = "foobar"

      kubernetes_software_config {
        component_version = {
          "SPARK" : "3.1-dataproc-7"
        }

        properties = {
          "spark:spark.eventLog.enabled": "true"
        }
      }

      gke_cluster_config {
        gke_cluster_target = google_container_cluster.poc_primary_gke.id

        # 复用已创建的节点池
        node_pool_target {
          node_pool = google_container_node_pool.primary_preemptible_nodes.name
          roles = ["DEFAULT"]
        }

        # 若需Dataproc自动创建节点池，可启用以下配置
        # node_pool_target {
        #   node_pool = "dpgke"
        #   roles = ["DEFAULT"]
        #   node_pool_config {
        #     autoscaling {
        #       min_node_count = 1
        #       max_node_count = 6
        #     }
        #     config {
        #       machine_type      = "n1-standard-4"
        #       preemptible       = true
        #       local_ssd_count   = 1
        #       min_cpu_platform  = "Intel Sandy Bridge"
        #       service_account = var.service_account_email
        #     }
        #   }
        # }
      }
    }
  }
}

3. 额外注意事项

• 确保服务账号拥有Dataproc Editor、GKE Admin等必要权限，避免权限报错
• 确认GKE集群位置与Dataproc集群区域一致（均为europe-west1）
• 执行terraform plan验证配置无误后，再运行terraform apply

关于你的问题 #

当然有大量开发者成功用Terraform创建过GKE上的Dataproc集群，只要确保Provider版本符合要求，配置没有语法和引用错误，就能顺利完成部署。

内容的提问来源于stack exchange，提问作者Marco Massetti