如何向Google Dataproc集群作业传递多个系统属性

我来给你梳理下正确的做法，你之前的问题主要出在JVM系统参数的分隔方式以及properties参数的格式上。

核心问题分析 #

你之前尝试的写法--properties ^#^spark.driver.extraJavaOptions=-Dhost=127.0.0.1,-Dlimit=10里，用逗号分隔两个-D参数是错误的——Spark会把整个-Dhost=127.0.0.1,-Dlimit=10当成一个单一的JVM参数，相当于设置了一个名为host=127.0.0.1,-Dlimit的系统属性，值为10，完全达不到你同时设置两个参数的目的。

正确的传递方式 #

根据你使用的终端环境，写法略有不同，但核心规则是：

• 同一个spark.driver.extraJavaOptions（或spark.executor.extraJavaOptions）内部的多个JVM参数，要用空格分隔，并且把整个参数值用引号包裹，避免shell解析错误。
• 如果要传递多个不同的Spark属性（比如同时设置driver内存和executor参数），不同属性之间用逗号分隔。

1. Linux/macOS 终端

gcloud dataproc jobs submit spark \
    --cluster=你集群的名称 \
    --class=你的主类路径（比如com.example.MyJob） \
    --jar=gs://你的存储桶路径/作业jar包.jar \
    --properties spark.driver.extraJavaOptions="-Dhost=127.0.0.1 -Dlimit=10"

2. Windows CMD 命令行

Windows CMD需要用^换行，并且用双引号包裹参数值：

gcloud dataproc jobs submit spark ^
    --cluster=你集群的名称 ^
    --class=你的主类路径 ^
    --jar=gs://你的存储桶路径/作业jar包.jar ^
    --properties "spark.driver.extraJavaOptions=-Dhost=127.0.0.1 -Dlimit=10"

3. 传递多个不同的Spark属性

如果还要同时设置其他Spark配置（比如driver内存、executor核心数），可以用逗号分隔不同的property键值对：

gcloud dataproc jobs submit spark \
    --cluster=你集群的名称 \
    --class=你的主类路径 \
    --jar=gs://你的存储桶路径/作业jar包.jar \
    --properties spark.driver.extraJavaOptions="-Dhost=127.0.0.1 -Dlimit=10",spark.driver.memory=4g,spark.executor.cores=2

验证方式 #

提交作业后，你可以通过Dataproc控制台查看作业的配置详情，或者在作业日志里搜索spark.driver.extraJavaOptions，确认两个系统参数是否都被正确加载。

内容的提问来源于stack exchange，提问作者Sagar Rakshe