AWS Lambda调用ml.m4.xlarge分割模型端点报容器响应超时原因问询

你遇到的Your invocation timed out while waiting for a response from container primary报错，绝大多数场景下代表请求已经成功送达SageMaker模型端点，只是模型推理/容器处理耗时超过了调用超时阈值，仅极个别极端场景下才是数据没有传输到端点。

具体判断依据 #

• 该报错是SageMaker Runtime的标准返回，触发前提是Runtime已经成功把请求转发给了端点的primary容器，只是容器在设定的超时时间内没有返回响应。如果请求根本没有送达端点，你会收到其他类型的报错，比如Endpoint is out of service、Connection refused、请求未到端点类的超时提示等，不会返回当前报错内容。
• 你可以通过CloudWatch对应SageMaker端点的日志快速验证：如果对应请求时间点有容器的调用记录、输入接收日志，即可100%确认数据已经送达；如果完全没有对应时间点的调用记录，才可能是网络不通、端点状态异常等问题导致请求未送达，这类情况出现概率极低。

你当前场景的常见超时原因 #

• SageMaker端点默认调用超时为60秒，语义分割模型计算量较大，且你使用的ml.m4.xlarge为CPU实例算力有限，若输入图片分辨率较高，推理耗时很容易超过默认阈值。
• Lambda函数的执行超时设置短于SageMaker端点的超时设置，会提前触发断连返回报错。

修复建议 #

• 调大SageMaker端点的调用超时配置，最大支持设置为3600秒。
• 同步调大Lambda函数的执行超时，需要比SageMaker端点的超时配置至少多30秒以上，避免Lambda先中断连接。
• 若优化后推理耗时仍不符合预期，可更换为GPU推理实例（如g4dn系列），能大幅降低语义分割模型的推理耗时。

内容的提问来源于stack exchange，提问作者Yash Jain