Azure ML多模型部署咨询：ManagedOnlineDeployment vs KubernetesOnlineDeployment

问题1：当前部署方式是否为最佳实践？是否需切换至KubernetesOnlineDeployment或其他方案？ #

• 你当前使用的ManagedOnlineDeployment适合快速部署、低运维场景，但针对大量异构模型+成本敏感的情况，KubernetesOnlineDeployment是更优选择：
  • 支持在同一K8s集群上调度多个异构模型部署，实现资源共享，降低单模型的资源独占成本；
  • 自定义环境的镜像构建与部署流程更灵活，可结合K8s的镜像拉取策略提前验证镜像可用性，减少全流程跑完才报错的情况；
  • 若模型数量持续增长，Azure ML的多模型端点（Multi-Model Endpoints）仅适用于环境兼容的模型，你的异构场景不匹配，因此K8s部署更贴合需求。

问题2：能否将所有端点部署在单台VM上以降低成本？ #

• 可以，但需根据模型兼容性选择方式：
  • 多模型端点：如果模型能适配同一基础环境（如均为Python模型，依赖差异可通过虚拟环境隔离），可将多个模型打包到同一端点部署，共享单VM资源；但依赖完全不兼容（如不同系统库、Python版本）时无法使用。
  • 单节点K8s集群部署：在单VM上搭建Azure Kubernetes Service单节点集群，将多个异构模型部署为不同K8s服务，共享该VM的CPU/GPU资源，通过K8s资源配额限制每个模型的资源使用，避免互相干扰。

问题3：是否支持按调用次数计费的部署方式？ #

• Azure ML的Serverless在线端点就是按调用次数计费的模式：
  • 无需预分配固定VM资源，系统会根据调用量自动扩缩容，空闲时可缩至0实例；
  • 计费基于实际调用次数和计算资源使用时长，适合低流量、波动大的模型部署场景，能大幅降低闲置成本；
  • 注意：Serverless端点对自定义环境的支持有限，若你的自定义Docker镜像包含特殊系统依赖，需确认是否兼容Serverless运行时限制。

额外优化建议 #

• 自定义环境镜像构建优化：使用Azure ML的环境构建任务，在构建阶段就验证镜像可用性，避免部署时才发现错误；同时基于微软Curated Environments作为基础镜像，减少重复构建步骤，示例Dockerfile：

  FROM mcr.microsoft.com/azureml/curated/acpt-pytorch-1.10-cuda11.3:latest
  RUN apt-get update -y && apt-get install build-essential cmake pkg-config -y
  RUN python setup.py build_ext --inplace
  

• 资源调度优化：Kubernetes部署时，通过节点亲和性和资源请求/限制配置，让不同模型根据资源需求合理共享单VM资源，避免资源浪费。

内容的提问来源于stack exchange，提问作者Ammar Mohanna