为何在SageMaker中选择Multi-Container Endpoints而非Multi-Model Endpoints

尽管多模型端点（MME）支持更多模型数量、自带缓存等高级特性，但以下场景更适合选择支持直接调用的多容器端点（MCE）：

• 你的多个模型依赖完全不兼容的运行环境
  MME要求所有托管模型使用同一个容器镜像运行，没法满足不同模型对深度学习框架版本、系统依赖、自定义推理逻辑的差异化要求。而MCE每个容器可以独立打包自己的运行环境，哪怕一个模型要用TensorFlow 1.15、另一个要用PyTorch 2.2、还有一个依赖自定义C++推理库，都能互不干扰运行。
• 需要严格的模型间资源隔离，保障核心模型SLA
  MME的所有模型共享同一个容器的CPU、GPU、内存资源，当某一个模型流量突增时，很容易挤占其他模型的资源导致延迟升高，甚至服务超时。MCE支持给每个容器单独分配固定的资源配额，你可以给核心业务模型单独预留GPU显存、CPU核心，完全避免其他模型的流量波动影响核心服务的稳定性。
• 每个模型有独立的自定义前后处理逻辑
  如果不同模型的输入预处理、输出后处理逻辑差异极大，比如有的模型要做图片解码裁剪，有的要做长文本分词，还有的要额外拉取外部特征做拼接，MME要求所有逻辑都耦合在同一个服务入口里，迭代修改很容易互相影响出故障。MCE每个容器可以独立维护自己的处理逻辑，迭代某个模型的逻辑完全不会影响其他模型。
• 仅需部署少量长期稳定运行的模型，对延迟稳定性要求高
  MCE最多只支持托管5个模型，如果你本来就只需要部署2-3个核心模型，也没有后续扩展到几十上百个模型的需求，MCE不需要做模型的加载/卸载缓存逻辑，所有模型随容器启动就常驻内存，完全不会出现MME常见的模型冷启动延迟尖峰，推理延迟更稳定。

内容的提问来源于stack exchange，提问作者pirateofebay