AWS SageMaker invoke_endpoint超时无响应及日志解析求助

问题 #

我正在进行AWS SageMaker模型托管服务的实验，遵循相关教程操作，对应公开仓库为某GitHub仓库。
我已按照指引将model.tar.gz文件上传至S3，并通过运行python sagemaker_deployment.py成功部署模型，端点状态显示为“InService”。但当我运行python predict.py执行推理时，始终未收到响应，直至触发60秒超时错误：

An error occurred (ModelError) when calling the InvokeEndpoint operation: 

为排查问题，我查看了CloudWatch的目标端点日志流，发现以下日志：

2024-02-21T22:04:38,699 [INFO ] W-9000-model_1.0 TS_METRICS - Requests5XX.Count:1.0|#Level:Host|#hostname:container-0.local,timestamp:1708553078

2024-02-21T22:04:43,698 [INFO ] W-9000-model_1.0 ACCESS_LOG - /169.254.178.2:41038 "GET /ping HTTP/1.1" 500 0

请问这些日志代表什么含义？是否属于错误？是否是导致调用无响应的原因？还有其他可能的诱因吗？

解答 #

日志含义与错误判定 #

• 第一条是模型容器的指标日志，Requests5XX.Count:1.0表示容器已触发1次5XX服务器内部错误请求，属于明确的错误指标，说明容器处理请求时出现异常。
• 第二条是容器的访问日志，GET /ping HTTP/1.1" 500 0表示SageMaker对模型容器发起的健康检查请求（/ping接口）返回了500状态码，这是严重错误——健康检查失败意味着模型容器无法正常提供服务。

与推理超时的关联 #

这两条日志就是导致推理调用无响应并超时的核心原因：
SageMaker模型容器必须通过健康检查才能正常处理推理请求。当/ping接口返回500时，容器实际处于异常状态，无法处理InvokeEndpoint请求，最终导致请求超时。

其他可能的诱因 #

除了日志直接反映的健康检查失败，还可能由以下问题导致：

• model.tar.gz打包错误：模型文件未放在容器预期路径下（如要求放在model/目录但实际结构不符），或打包时遗漏了依赖包、推理脚本（inference.py）等关键文件。
• 推理脚本异常：inference.py中模型加载逻辑错误（如路径写错、模型文件损坏），或predict函数存在未捕获的异常，导致容器初始化失败。
• 实例资源不足：选择的SageMaker实例类型（如t2.micro）内存/算力不足，无法加载模型，触发健康检查失败。
• 环境版本不兼容：PyTorch模型版本与SageMaker使用的容器版本不匹配，导致模型无法正常加载。
• 权限问题：模型容器的IAM角色缺少读取S3模型文件的权限（虽部署成功仍需验证）。

内容的提问来源于stack exchange，提问作者J Qin