如何使用Terraform创建Dataproc作业时指定自定义作业名称?
为Dataproc作业指定自定义名称的正确方式
直接添加name = "my-job-name"会报错,是因为Terraform的google_dataproc_job资源中,控制Dataproc实际作业名称的参数是job_id,而非name。name是Terraform用来标识内部资源的名称,和云平台上显示的作业名称无关。
修改后的脚本如下:
resource "google_dataproc_job" "pyspark" { region = google_dataproc_cluster.mycluster.region force_delete = true job_id = "my-job-name" # 这里指定自定义作业名称 placement { cluster_name = google_dataproc_cluster.mycluster.name } pyspark_config { main_python_file_uri = "gs://dataproc-examples-2f10d78d114f6aaec76462e3c310f31f/src/pyspark/hello-world/hello-world.py" properties = { "spark.logConf" = "true" } } }
需要注意:
job_id必须符合Dataproc命名规则:仅包含小写字母、数字、连字符,且不能以连字符开头或结尾- 同一区域内的
job_id不可重复,否则会触发资源冲突报错
内容的提问来源于stack exchange,提问作者Meghna Panda
相关产品推荐
相关产品推荐

