为何Google Cloud Dataproc支持30+开源工具但gcloud作业提交命令仅列8种？

出现该情况的核心原因如下：

• gcloud dataproc jobs submit 下列出的子命令仅为谷歌官方封装的便捷提交入口，不等同于Dataproc服务支持的全部开源组件列表。官方仅对使用频次最高的8类任务做了专属参数封装，直接调用对应子命令可以省去手动编写提交脚本、配置依赖路径的繁琐步骤。
• 宣传中提到的其余30余种兼容组件（比如Apache Flink、HBase、Kafka、Zeppelin等），都可以通过两种方式正常在Dataproc上运行：
  • 调用通用的 gcloud dataproc jobs submit hadoop 命令，传入对应框架的提交参数即可运行，比如Flink作业就可以通过这个通用子命令提交YARN部署模式的任务
  • 先通过初始化动作在集群上安装对应组件后，直接SSH登录集群节点执行对应命令运行，或者通过组件自带的Web UI提交作业
• Dataproc官方宣传的「支持30余种开源工具」指的是集群侧已经完成兼容适配、支持一键部署/预装这些组件，并不代表每个组件都单独在gcloud命令层做了专属提交封装。

内容的提问来源于stack exchange，提问作者Naga Vijayapuram