创建Dataproc集群添加多个jar包对接PubSub出现报错如何解决？

错误原因 #

--properties参数要求多个配置项必须用英文逗号拼接为同一个参数值，你原命令中spark.jars配置和spark.driver.memory配置之间用了空格分隔，导致gcloud将逗号分隔的jar包路径识别为独立的无效参数，触发语法错误。

修复后的命令 #

把两个配置项之间的空格替换为英文逗号即可，稳妥起见可以用单引号包裹整个properties值避免shell转义问题：

gcloud dataproc clusters create cluster-2c76 --region us-central1 --zone us-central1-f --master-machine-type n1-standard-4 \
--master-boot-disk-size 500 \
--num-workers 2 \
--worker-machine-type n1-standard-4 \
--worker-boot-disk-size 500 \
--image-version 1.4-debian10 \
--properties 'spark:spark.jars=gs://bucket/jars/spark-streaming-pubsub_2.11-2.4.0.jar,gs://bucket/jars/google-oauth-client-1.31.0.jar,gs://bucket/jars/google-cloud-datastore-2.2.0.jar,gs://bucket/jars/pubsublite-spark-sql-streaming-0.2.0.jar,spark:spark.driver.memory=3000m' \
--initialization-actions gs://goog-dataproc-initialization-actions-us-central1/connectors/connectors.sh \
--metadata spark-bigquery-connector-version=0.21.0 \
--scopes=pubsub,datastore

• 优先使用内置连接器：Dataproc 2.0及以上版本镜像已经预置了Spark Pub/Sub连接器，无需手动上传jar包，减少版本冲突风险。
• 通过初始化脚本统一安装依赖：你当前使用的connectors.sh初始化脚本支持直接配置PubSub连接器版本，只需在--metadata参数中添加spark-pubsub-connector-version=对应版本号即可，无需手动指定spark.jars配置。
• 作业级配置依赖：如果不需要集群全局生效，建议在提交Spark作业时通过--jars参数传入依赖路径，不同作业可使用不同版本的依赖，灵活性更高。
• 版本对齐：你使用的1.4-debian10镜像对应Spark 2.4、Scala 2.11版本，所有相关依赖包的版本必须和Spark、Scala版本匹配，避免运行时类加载异常。

内容的提问来源于stack exchange，提问作者mikeL