You need to enable JavaScript to run this app.
优惠活动
大模型
产品
解决方案
定价
更多

关于SageMaker Serverless Inference与SageMaker Neo结合部署的技术问询

关于SageMaker Serverless Inference搭配SageMaker Neo部署模型的疑问

我计划采用SageMaker Serverless Inference搭配SageMaker Neo部署模型,以此实现无服务器架构下的低延迟推理,但相关官方文档并未明确说明该方案是否可行。根据现有文档信息:

  • SageMaker Neo支持ml_m4等实例类型
  • Neo编译器的OutputConfig参数可将TargetDevice设置为lambda
  • SageMaker Serverless Inference与AWS Lambda集成以保障高可用性,由此我推测其底层实例与Lambda实例类型兼容

现提出两个问题:

  1. 是否有实际使用者采用过该组合方案?该方案是否具备可行性?
  2. 使用Neo编译模型时,应当选择哪种实例类型?

内容的提问来源于stack exchange,提问作者qalis

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.08.20 04:20:32