如何在Dataproc Workflow Template的Spark作业中传递参数

问题原因排查及解决步骤 #

你遇到的报错核心原因是模板没有被正确配置参数映射，同时存在参数名大小写不匹配、资源名大小写不一致的问题，按以下步骤修正即可：

1. 核心错误说明

你通过命令行创建模板时直接在作业末尾写$arg1 $arg2不会被自动识别为模板参数，必须显式声明参数和作业字段的映射关系；同时你定义的参数名是大写ARG1/ARG2，实例化时传小写arg1、模板名一会儿写try1一会儿写TRY1，GCP资源和参数大小写敏感，完全匹配才会生效。

2. 推荐解决方式：使用yaml文件导入创建模板

这种方式配置更清晰，不容易出错：

• 先修正你的yaml配置，调整缩进，删除冗余的空parameters字段，补全集群选择配置：

id: create_file
jobs:
- sparkJob:
    args:
    - ARG1
    - ARG2
    jarFileUris:
    - gs://mybucket/try_file.jar
    - gs://mybucket/try_dependencies_2.jar
    mainClass: org.apache.hadoop.examples.tryFile
    properties:
      spark.driver.cores: '2'
      spark.driver.memory: 10g
      spark.driver.userClassPathFirst: 'true'
      spark.dynamicAllocation.enabled: 'false'
      spark.executor.cores: '3'
      spark.executor.memory: 5g
      spark.executor.userClassPathFirst: 'true'
      spark.jars.packages: com.google.cloud:google-cloud-logging:2.2.0
      spark.num.executors: '2'
  stepId: create_file_try
placement:
  clusterSelector:
    clusterLabels:
      goog-dataproc-cluster-name: cluster
parameters:
- name: ARG1
  fields:
  - jobs['create_file_try'].sparkJob.args[0]
- name: ARG2
  fields:
  - jobs['create_file_try'].sparkJob.args[1]
name: projects/My-project-id/regions/europe-west3/workflowTemplates/create_file
updateTime: '2021-08-25T07:49:59.251096Z'

• 导入yaml创建模板：
  gcloud dataproc workflow-templates import create_file --region=europe-west3 --source=./你的配置文件名.yaml
• 实例化模板，参数名和模板名要和定义完全一致：
  gcloud dataproc workflow-templates instantiate create_file --region=europe-west3 --parameters="ARG1=20210820,ARG2=010000"

3. 命令行创建的修正方案

如果你坚持用命令行一步步配置，需要补全参数定义步骤：

1. 创建模板：
   gcloud dataproc workflow-templates create try1 --region=europe-west3
2. 添加作业，先用占位符占住参数位置：

gcloud dataproc workflow-templates add-job spark \
--workflow-template=try1 \
--step-id=create_try1 \
--class=it.flow \
--region=europe-west3 \
--jars=gs:path\file.jar,gs://path//depende.jar \
--properties spark.num.executors=2,spark.executor.cores=3,spark.executor.memory=5g,spark.driver.cores=2,spark.driver.memory=10g,spark.dynamicAllocation.enabled=false,spark.executor.userClassPathFirst=true,spark.driver.userClassPathFirst=true,spark.jars.packages=com.google.cloud:google-cloud-logging:2.2.0 \
-- PLACEHOLDER1 PLACEHOLDER2

3. 显式绑定参数和作业字段：

gcloud dataproc workflow-templates set-parameters try1 --region=europe-west3 \
--parameters="name=ARG1,fields=jobs['create_try1'].sparkJob.args[0]" \
--parameters="name=ARG2,fields=jobs['create_try1'].sparkJob.args[1]"

4. 配置集群选择器，模板名和之前保持一致：
   gcloud dataproc workflow-templates set-cluster-selector try1 --region=europe-west3 --cluster-labels=goog-dataproc-cluster-name=cluster
5. 实例化模板：
   gcloud dataproc workflow-templates instantiate try1 --region=europe-west3 --parameters="ARG1=20210820,ARG2=010000"

内容的提问来源于stack exchange，提问作者prototype sql