GCP AI平台ML服务配置自动缩容至0节点报错问题咨询

核心触发原因 #

GCP AI平台推理服务中，挂载GPU的部署版本不支持将最小节点数设置为0。
仅无GPU的纯CPU部署场景下，自动扩缩容才允许配置min_nodes=0实现无请求时缩容到0；所有带GPU的部署配置，自动扩缩容的最小节点数要求必须≥1，对应配置提交后会触发校验报错。

附加影响因素 #

本次使用的ML Runtime 2.4（对应TensorFlow 2.4）为较旧的运行时版本，该版本对GPU扩缩容的限制更严格，无例外豁免规则，只要带GPU配置就无法设置最小节点数为0。

可选替代方案 #

如果需要实现无请求时零成本运行，可选择以下方案：

• 测试场景可改用纯CPU机器类型部署，即可正常设置最小节点数为0
• 生产GPU场景可改用手动扩缩容，无需求时手动将节点数调整为0，需要时再手动扩容
• 迁移到更新的GCP推理运行服务，部分新推出的GPU型号在使用专用端点时支持缩容到0的配置

内容的提问来源于stack exchange，提问作者Jbertrand