调用Serverless SageMaker端点时出现ModelNotReadyException问题求助

异常成因 #

• 冷启动机制触发：Serverless SageMaker端点会在无请求的闲置时段自动释放计算资源。当新请求进来时，需要重新启动计算实例并加载模型，前两次调用正好处于实例启动、模型初始化的过程中，此时模型还未完成就绪，就会抛出这个异常。第三次及之后的调用时，实例已完全启动，模型加载完成，所以请求正常执行。
• 模型加载/实例启动超时：如果你的模型体积较大，或者选用的Serverless实例配置偏低，实例启动和模型加载的耗时会增加，超过了客户端默认的重试等待次数（你这里显示重试4次仍未就绪），也会触发该异常。

解决思路 #

• 配置定期预热：通过定时发送测试请求（比如用CloudWatch Events+Lambda实现定时调用），让端点保持活跃状态，避免闲置后释放资源，从根源上减少冷启动场景。
• 调整客户端重试策略：在调用端点的代码里，增加重试次数或者延长重试间隔时间，给模型足够的加载初始化时间。比如把重试次数从4次调高，或者设置指数退避的重试间隔。
• 优化模型与实例配置：对模型进行压缩（比如量化、蒸馏），或者选用更高规格的Serverless实例类型，缩短模型加载的耗时。
• 启用预置并发：如果业务对延迟要求高，可以为Serverless端点配置预置并发，预先维持一定数量的就绪实例，确保随时能处理请求，彻底避免冷启动带来的异常。

内容的提问来源于stack exchange，提问作者bnicholl