能否使用Vertex AI自定义容器训练Spark/PySpark MLlib模型

完全可以通过Vertex AI自定义容器能力训练Spark/PySpark MLlib模型，官方文档没有相关说明是因为Spark不属于平台预置优化的训练框架范畴，不代表自定义容器能力不支持。

• 自定义容器本身没有框架限制，只要你将Spark运行环境、PySpark依赖、MLlib库、你的训练代码都打包进符合Vertex AI自定义容器规范的Docker镜像即可，镜像的ENTRYPOINT指向你的训练启动命令。
• 单节点Spark训练无需额外适配，构建完镜像推送到Google Cloud Artifact Registry后，直接按自定义训练作业的提交流程提交即可，可按需配置作业的CPU、内存、GPU资源规格。
• 分布式Spark训练需要你自行实现集群启动逻辑：你可以利用Vertex AI训练作业的多Worker池配置，分别定义Master节点池和Worker节点池，在容器启动脚本中自动发现同作业的节点地址，拉起Spark集群执行训练，同作业的所有节点默认内网互通，无需额外配置网络规则。

补充说明：平台公开的分布式训练预置方案仅列PyTorch与TensorFlow，是因为官方对这两类主流深度学习框架做了预构建镜像、分布式调度优化、训练监控适配等额外能力支持，不等于自定义容器只能使用这两类框架。

内容的提问来源于stack exchange，提问作者Ashwar Gupta