能否为AWS SageMaker托管的大语言模型创建Serverless类型端点？

是的，AWS SageMaker支持为部分大语言模型（LLMs）创建Serverless类型的端点，但存在以下限制和前提：

• 并非所有AWS提供的LLM都适配Serverless端点，需要满足模型大小、框架兼容性要求，比如SageMaker JumpStart中的部分预训练LLM、基于TensorFlow/PyTorch的轻量化LLM通常可以支持。
• Serverless端点有内存和并发数的上限，对于超大规模参数的LLM，由于资源需求超出Serverless的配置范围，无法部署，只能使用常规托管式端点。
• 部署时需在创建端点流程中选择Serverless变体，配置匹配模型需求的内存规格和并发参数，若部署失败，优先排查是否模型不符合Serverless的资源或框架要求。

内容的提问来源于stack exchange，提问作者Anton von Schantz