基于Amazon SageMaker的多模型端点无服务器推理疑问

• 并非完全无法搭建多模型无服务器端点，但存在明确的限制条件，你遇到的提示通常和这些限制有关：
  1. 容器规范要求：自定义容器必须兼容SageMaker多模型服务（MMS）或官方推理工具包，同时要满足无服务器环境的启动速度、资源占用要求——无服务器实例启动快、资源有限，容器如果不符合规范会触发错误。
  2. 模型存储路径限制：无服务器端点无法直接访问ECR容器内的模型归档路径，必须将模型包上传至S3桶，创建模型时指定该S3路径作为模型数据根路径。
  3. 端点配置参数适配：创建无服务器端点配置时，要根据模型数量和大小指定合适的内存规格（如1GB、2GB）和并发上限，避免资源不足导致的启动失败。
• 满足上述条件后，即可创建多模型无服务器端点：
  • 先将所有模型归档包上传到S3指定路径
  • 确保自定义容器符合无服务器+多模型的规范
  • 创建模型时关联该S3路径，再基于此创建带ServerlessConfig的端点配置，最终部署无服务器端点

内容的提问来源于stack exchange，提问作者LEE