PySpark任务使用Dataproc工作流模板失败，已尝试Workflow Template API

我最近碰到PySpark任务通过Dataproc工作流模板执行失败的问题，为了排查和解决这个问题，我尝试直接使用Workflow Template API来手动创建并配置工作流模板，具体操作命令如下：

gcloud beta dataproc workflow-templates create lifestage-workflow --region europe-west2
gcloud beta dataproc workflow-templates set-managed-cluster lifestage-workflow \
 --master-machine-type n1-standard-8 \
 --worker-machine-type n1-standard-16 \
 --num-workers 6 \
 --cluster-name lifestage-workflow-cluster \
 --initialization-actions gs://..../init.sh \
 --zone europe-west2-b \
 --region europe-west2

这些命令主要完成了两个核心操作：

• 创建名为lifestage-workflow的工作流模板（指定欧洲西部2区域）
• 为该模板关联一个托管集群，配置了主节点、工作节点的机器类型、节点数量，指定了集群初始化脚本和可用区

如果后续需要添加PySpark任务到这个模板，可以使用类似gcloud beta dataproc workflow-templates add-job pyspark的命令来补充任务配置，进一步调试执行失败的问题。

内容的提问来源于stack exchange，提问作者CARREAU Clément