Azure Kubernetes Service单节点ML模型部署上限及扩容方案咨询

一、「每个部署（每个容器）最多可部署1000个模型」的适用规则 #

该数值为Azure ML多模型打包部署模式下的单容器理论上限，仅在满足以下所有条件时适用：

• 使用Azure ML官方提供的多模型打包部署功能，而非每个模型单独创建独立容器部署
• 分配给该部署容器的CPU、内存配额足够容纳所有模型的加载开销+运行时推理负载开销
• 部署的模型均为低资源占用的轻量化模型，比如小参数的传统机器学习模型，无大参数深度学习模型的高额资源开销
• 未超出AKS节点分配给该容器的资源配额
  *注：该上限仅统计单容器内的模型数量，不代表单节点可部署的总模型数量上限。

二、提升单个AKS节点可部署ML模型数量的方案 #

• 改用多模型打包部署模式
  不要为每个模型单独创建独立容器部署，将多个模型打包到同一个容器镜像内，使用统一的推理服务入口分发请求，可大幅降低单个容器的基础资源开销，提升单节点可容纳的模型数量。
• 下调部署资源申请配额
  你当前的部署配置为：

auth_enabled = False
autoscale_enabled = False
cpu_cores = 0.6
memory_gb = 1
cpu_cores_limit = 2
memory_gb_limit = 2

如果单模型实际运行资源占用远低于申请的cpu_cores、memory_gb值，可将这两个参数调整为和实际占用匹配的更小值，降低单个部署的资源预留占比，提升单节点可容纳的部署数量。

• 升级AKS节点规格
  选择CPU核心数、内存容量更高的虚拟机规格作为AKS节点，提升单节点可分配的总资源池，可直接提升单节点可部署的模型总数。
• 模型轻量化优化
  对训练完成的模型做量化、剪枝、蒸馏等轻量化处理，降低单模型加载和运行推理时的资源占用，相同资源配额下可容纳更多模型。
• 调整AKS节点Pod上限
  如果节点规格默认的单节点Pod数量上限较低，可调整kubelet配置提升单节点可运行的Pod总数量，节点资源充足时可部署更多模型。

内容的提问来源于stack exchange，提问作者suvedharan M