关于SageMaker Serverless Inference与SageMaker Neo结合部署的技术问询
关于SageMaker Serverless Inference搭配SageMaker Neo部署模型的疑问
我计划采用SageMaker Serverless Inference搭配SageMaker Neo部署模型,以此实现无服务器架构下的低延迟推理,但相关官方文档并未明确说明该方案是否可行。根据现有文档信息:
- SageMaker Neo支持ml_m4等实例类型
- Neo编译器的OutputConfig参数可将TargetDevice设置为lambda
- SageMaker Serverless Inference与AWS Lambda集成以保障高可用性,由此我推测其底层实例与Lambda实例类型兼容
现提出两个问题:
- 是否有实际使用者采用过该组合方案?该方案是否具备可行性?
- 使用Neo编译模型时,应当选择哪种实例类型?
内容的提问来源于stack exchange,提问作者qalis
相关产品推荐
相关产品推荐

