如何通过gcloud向Spark作业主类传递args[0]=foo参数?
向Dataproc Spark作业主类传递参数的方法
要给你的Spark作业主类传递args[0]=foo,只需在原gcloud命令末尾添加-- foo即可,--是用来区分gcloud自身命令选项与传递给Spark主类参数的分隔符。
修改后的完整命令如下:
gcloud dataproc jobs submit spark \ --cluster=clusterName \ --region=regionName \ --class=clazzName \ --files=fileName \ --jars=jarPath \ -- foo
执行该命令后,主类clazzName的main方法中,args数组长度为1,args[0]的值即为foo,会触发对应的分支逻辑。
内容的提问来源于stack exchange,提问作者Aditya Mahajan
相关产品推荐
相关产品推荐

