如何在GKE部署的Dataproc集群中通过Terraform安装Jupyter？

问题根源 #

你之前用dataproc:jupyter.enable=true的配置方式只适用于传统VM架构的Dataproc集群，而GKE上的Dataproc虚拟集群采用完全不同的组件管理逻辑，所以该配置不会生效，且确实无法使用初始化动作。

正确配置方案 #

修改Terraform脚本中的kubernetes_software_config部分，通过components字段显式声明要部署Jupyter组件：

virtual_cluster_config {
    staging_bucket = google_storage_bucket.staging_bucket.name
    kubernetes_cluster_config {
        kubernetes_namespace = "foobar"

        kubernetes_software_config {
            component_version = {
                "SPARK" : "3.1-dataproc-7"
            }
            components = ["JUPYTER"] # 关键：添加这行启用Jupyter
            properties = {
                "spark:spark.eventLog.enabled": "true"
            }
        }
    }
}

验证部署 #

执行terraform apply完成后，通过以下步骤确认Jupyter已成功部署：

• 查看目标namespace下的Pod：kubectl get pods -n foobar，应该能看到包含jupyter关键字的Pod处于Running状态
• 本地端口转发访问Jupyter：kubectl port-forward <jupyter-pod-name> 8888:8888 -n foobar，然后在浏览器打开http://localhost:8888即可访问

内容的提问来源于stack exchange，提问作者Akhil