如何为Dataproc Serverless批处理作业设置运行时版本？

使用gcloud命令行工具 #

提交作业时，通过--version参数指定运行时版本，示例如下：

gcloud dataproc batches submit spark \
    --project=YOUR_PROJECT_ID \
    --region=YOUR_REGION \
    --version=2.1-debian11 \
    --jar=gs://your-bucket/path/to/job.jar \
    -- YOUR_JOB_ARGUMENTS

替换2.1-debian11为你需要的具体版本号，可用版本包含Spark、Flink对应的不同发行版组合。

使用REST API #

调用Dataproc Serverless的批处理作业创建API时，在请求体的runtimeConfig.version字段中指定版本：

{
  "projectId": "YOUR_PROJECT_ID",
  "region": "YOUR_REGION",
  "batch": {
    "sparkBatch": {
      "mainClass": "com.example.YourJob",
      "jarFileUris": ["gs://your-bucket/path/to/job.jar"],
      "args": ["YOUR_JOB_ARGUMENTS"]
    },
    "runtimeConfig": {
      "version": "2.1-debian11"
    }
  }
}

使用Terraform配置 #

在google_dataproc_batch资源中，通过runtime_config.version字段指定版本：

resource "google_dataproc_batch" "example_batch" {
  project  = "YOUR_PROJECT_ID"
  region   = "YOUR_REGION"
  batch_id = "example-batch-job"

  spark_batch {
    main_class = "com.example.YourJob"
    jar_file_uris = ["gs://your-bucket/path/to/job.jar"]
    args = ["YOUR_JOB_ARGUMENTS"]
  }

  runtime_config {
    version = "2.1-debian11"
  }
}

注意：如果未显式指定版本，Dataproc Serverless会使用默认版本，建议始终显式设置以避免版本变更带来的兼容性问题。

内容的提问来源于stack exchange，提问作者Adam C. Scott