You need to enable JavaScript to run this app. 部署Flask模型时Sagemaker端点超时、ping健康检查失败问题咨询
优惠活动
大模型
产品
解决方案
定价
更多

部署Flask模型时Sagemaker端点超时、ping健康检查失败问题咨询

问题排查与解决步骤

1. 优先排查代码语法错误

你提供的predict.py存在两处明显语法错误,会直接导致Flask应用加载失败,健康检查无响应:

  • @app.route("/ping", methods=["GET"] 缺少右括号,正确写法为@app.route("/ping", methods=["GET"])
  • /invocations路由下缺少函数声明,你当前代码直接写了注释和返回逻辑,没有def invocations():定义行,属于无效代码
  • 模型加载逻辑未加异常捕获,如果pkl文件路径错误、文件损坏、训练/部署环境依赖版本不兼容,都会导致应用启动时直接崩溃,无错误日志输出

2. 排查端口匹配问题

Sagemaker推理容器默认会向容器的8080端口发送健康检查请求,你提供的CloudWatch日志显示gunicorn监听的是8000端口,端口不匹配会导致健康检查请求根本无法到达你的Flask服务,直接超时。
另外不需要保留if __name__ == '__main__'段的Flask启动代码,Sagemaker是通过gunicorn加载你代码中的app对象,不会执行该段逻辑,增删都不影响运行结果。

3. 具体修复方案

3.1 修正predict.py代码

修正后参考代码如下:

import logging
import pickle
import flask

logger = logging.getLogger()
logger.setLevel(logging.INFO)

# 新增异常捕获,方便定位模型加载问题
try:
    classpath = "<替换为实际pkl文件的绝对路径>" 
    model = pickle.load(open(classpath, "rb"))
    logger.info("模型加载成功")
except Exception as e:
    logger.error(f"模型加载失败,错误信息:{str(e)}")
    raise e

app = flask.Flask(__name__)

@app.route("/ping", methods=["GET"])
def ping():
    """Determine if the container is working and healthy."""
    return flask.Response(response="Flask running", status=200, mimetype="application/json")

@app.route("/invocations", methods=["POST"])
def invocations():
    """InferenceCode"""
    # 补全实际推理逻辑
    return flask.Response(response="Invocation Completed", status=200, 
    mimetype="application/json")

3.2 修正gunicorn监听端口

如果你是自行构建ECR镜像,修改Dockerfile中的gunicorn启动命令,将端口调整为8080,示例命令:
gunicorn -b 0.0.0.0:8080 predict:app
如果使用Sagemaker官方推理容器,确认创建模型时未修改默认服务端口配置。

3.3 调整健康检查配置(可选)

如果你的模型本身加载耗时较长(超过2分钟),可以在创建端点配置时,调大健康检查的超时时间和重试次数,避免模型还未加载完成就被判定为失败。

验证方法

修复完成后可以先在本地启动镜像,执行curl http://localhost:8080/ping,如果能正常返回200状态码,再推到Sagemaker部署即可。


内容的提问来源于stack exchange,提问作者tender_raman

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.12 07:45:03