部署Flask模型时Sagemaker端点超时、ping健康检查失败问题咨询
问题排查与解决步骤
1. 优先排查代码语法错误
你提供的predict.py存在两处明显语法错误,会直接导致Flask应用加载失败,健康检查无响应:
@app.route("/ping", methods=["GET"]缺少右括号,正确写法为@app.route("/ping", methods=["GET"])/invocations路由下缺少函数声明,你当前代码直接写了注释和返回逻辑,没有def invocations():定义行,属于无效代码- 模型加载逻辑未加异常捕获,如果pkl文件路径错误、文件损坏、训练/部署环境依赖版本不兼容,都会导致应用启动时直接崩溃,无错误日志输出
2. 排查端口匹配问题
Sagemaker推理容器默认会向容器的8080端口发送健康检查请求,你提供的CloudWatch日志显示gunicorn监听的是8000端口,端口不匹配会导致健康检查请求根本无法到达你的Flask服务,直接超时。
另外不需要保留if __name__ == '__main__'段的Flask启动代码,Sagemaker是通过gunicorn加载你代码中的app对象,不会执行该段逻辑,增删都不影响运行结果。
3. 具体修复方案
3.1 修正predict.py代码
修正后参考代码如下:
import logging import pickle import flask logger = logging.getLogger() logger.setLevel(logging.INFO) # 新增异常捕获,方便定位模型加载问题 try: classpath = "<替换为实际pkl文件的绝对路径>" model = pickle.load(open(classpath, "rb")) logger.info("模型加载成功") except Exception as e: logger.error(f"模型加载失败,错误信息:{str(e)}") raise e app = flask.Flask(__name__) @app.route("/ping", methods=["GET"]) def ping(): """Determine if the container is working and healthy.""" return flask.Response(response="Flask running", status=200, mimetype="application/json") @app.route("/invocations", methods=["POST"]) def invocations(): """InferenceCode""" # 补全实际推理逻辑 return flask.Response(response="Invocation Completed", status=200, mimetype="application/json")
3.2 修正gunicorn监听端口
如果你是自行构建ECR镜像,修改Dockerfile中的gunicorn启动命令,将端口调整为8080,示例命令:gunicorn -b 0.0.0.0:8080 predict:app
如果使用Sagemaker官方推理容器,确认创建模型时未修改默认服务端口配置。
3.3 调整健康检查配置(可选)
如果你的模型本身加载耗时较长(超过2分钟),可以在创建端点配置时,调大健康检查的超时时间和重试次数,避免模型还未加载完成就被判定为失败。
验证方法
修复完成后可以先在本地启动镜像,执行curl http://localhost:8080/ping,如果能正常返回200状态码,再推到Sagemaker部署即可。
内容的提问来源于stack exchange,提问作者tender_raman
相关产品推荐
相关产品推荐

