Vertex AI 自定义预测与GKE部署的差异及限制问询

核心问题答复 #

• 磁盘空间规则
  Vertex AI 在线预测的 N1 系列节点默认分配 100GB 持久磁盘，当前不支持自定义磁盘大小配置。如果你的业务需要预加载多份模型构件或外部数据，建议优先将非热数据存储到对象存储服务中，使用时通过接口流式读取，避免占用本地磁盘配额；不要将大文件写入容器可写层，避免额外占用存储额度导致服务异常。
• 交互式shell访问支持
  自定义预测容器目前不支持交互式shell访问。和训练任务的调试逻辑不同，预测服务属于托管无状态运行环境，平台禁止用户直接登入运行实例。如果需要排查容器运行问题，可在部署前本地使用同版本镜像做完整功能测试，或在自定义容器代码中增加埋点日志，将运行状态输出到日志服务中排查。
• 私有IP支持
  自定义预测服务支持私有IP部署，你在创建端点时可在网络配置板块选择绑定指定的VPC网络，通过VPC peering实现端点仅在私有网络内暴露，不开放公网访问入口，该功能的使用逻辑和训练任务私有IP配置逻辑一致。

其他常见限制补充 #

• 机型适配限制：除仅支持N1系列计算实例外，可配套使用的GPU型号也仅覆盖T4、V100、A100等少数类型，无法像GKE一样自由选择全量GCP计算资源。
• 端口限制：自定义预测容器仅允许暴露8080端口作为预测服务端口，不支持自定义端口，也无法同时暴露多个端口提供服务。
• 数据持久化限制：预测实例由平台自动调度，你无法控制实例启停时机，也无法为实例挂载持久化存储卷，实例重启后本地写入的所有数据会被清空，GKE环境中可通过PVC实现数据持久化存储。
• 扩缩容规则限制：自动扩缩容仅支持QPS、CPU使用率、GPU使用率三类固定指标触发，不支持自定义扩缩容指标，也无法配置定时扩缩容规则。

内容的提问来源于stack exchange，提问作者racerX