能否通过Google Dataproc初始化脚本向集群提交作业？

方案可行性及问题排查 #

你这个方案的核心思路是可行的，但脚本存在几处明显问题，同时Dataproc本身已有原生能力支持你的需求，不需要自行实现轮询逻辑，以下是具体说明：

脚本无法执行的核心原因 #

• Shell子shell返回值问题
  你写的check_running函数中，管道符|后面的while read循环运行在独立子shell中，循环内的return 0仅能退出子shell，无法让上层check_running函数返回0，因此判断逻辑永远无法命中，作业自然不会提交。
• 模板变量未替换问题
  过滤条件里的{{ cluster_name }}是模板占位符，如果实际运行脚本时没有替换为真实的集群名称，过滤条件会永远匹配不到对应集群，无法拿到RUNNING状态。
• 权限与运行环境问题
  初始化动作默认以root用户运行，需要确认集群绑定的服务账号拥有dataproc.jobs.create权限，同时gcloud cli默认配置的区域要和集群所在区域一致，否则调用gcloud命令会失败。
• 不必要的远程查询逻辑
  你不需要通过gcloud远程查询集群状态，在Master节点本地可以直接检测YARN、HDFS等核心服务是否就绪，比远程查询更稳定高效。

更优的原生实现方案 #

你要的「集群创建完成后自动运行作业，单集群跑单作业」的需求Dataproc已经有原生支持，不需要自行写初始化脚本：
直接在创建集群的命令中添加--jobs参数即可，示例命令如下：

gcloud dataproc clusters create 你的集群名 \
  --region=asia-northeast1 \
  # 其他集群配置参数（机器类型、镜像版本等）
  --jobs=pyspark:你的pyspark脚本路径 \
  --delete-cluster-on-job-completion

这个命令会在集群所有服务就绪后自动提交作业，作业运行完成后还能自动删除集群，完全符合你的使用场景，稳定性远高于自定义初始化脚本。

原有脚本的修复方案 #

如果你坚持要用自定义初始化脚本的方式，需要修改check_running函数的写法，避免子shell问题，示例修改如下：

function check_running() {
  echo "checking..."
  # 不用管道+while，直接把状态存到变量里判断，避免子shell
  local status
  status=$(gcloud dataproc clusters list --region='asia-northeast1' --filter='clusterName = 替换为实际集群名' --format='value(status.state)')
  if [ "$status" = "RUNNING" ]; then
    return 0
  else
    return 1
  fi
}

内容的提问来源于stack exchange，提问作者uchiiii