Vertex AI自定义容器部署失败：模型服务未就绪问题排查

问题概述 #

我有一个基于PyTorch的文本情感预测应用，容器启动时会自动下载模型，但在Vertex AI中部署时始终失败，报错：

Failed to deploy model "emotion_recognition" to endpoint "emotions" due to the error: Error: model server never became ready. Please validate that your model file or container configuration are valid.

无法在Cloud Logging中找到具体错误原因，现提供Dockerfile和main.py代码，请求检查健康检查路由（/isalive）与预测路由（/predict）是否符合Vertex AI要求，以及排查其他可能导致部署失败的问题。

Dockerfile内容 #

FROM tiangolo/uvicorn-gunicorn-fastapi:python3.8-slim

COPY requirements.txt ./requirements.txt
RUN pip install -r requirements.txt

WORKDIR /usr/src/emotions
COPY ./schemas/ /emotions/schemas
COPY ./main.py /emotions
COPY ./utils.py /emotions

ENV PORT 8080
ENV HOST "0.0.0.0"

WORKDIR /emotions

EXPOSE 8080

CMD ["uvicorn", "main:app"]

main.py内容 #

from fastapi import FastAPI,Request
from utils import get_emotion
from schemas.schema import Prediction, Predictions, Response

app = FastAPI(title="People Analytics")

@app.get("/isalive")
async def health():
    message="The Endpoint is running successfully"
    status="Ok"
    code = 200
    response = Response(message=message,status=status,code=code)
    return response

@app.post("/predict",
            response_model=Predictions,
            response_model_exclude_unset=True)

async def predict_emotions(request: Request):

    body = await request.json()
    print(body)
    instances = body["instances"]
    print(instances)
    print(type(instances))
    instances = [x['text'] for x in instances]
    print(instances)

    outputs = []

    for text in instances:
       emotion = get_emotion(text)
       outputs.append(Prediction(emotion=emotion))

    return Predictions(predictions=outputs)

排查与修复方案 #

1. 健康检查路由适配 #

• Vertex AI默认健康检查路由为/healthz，当前代码使用/isalive，需在Vertex AI部署配置中手动指定健康检查路径为/isalive，或修改路由为/healthz。
• 确保健康检查路由返回HTTP 200状态码：当前代码中health函数未显式指定status_code，虽然FastAPI默认返回200，但需确认自定义Response类序列化无异常，避免因序列化失败导致健康检查不通过。

2. 容器启动命令修正 #

当前CMD命令未显式指定端口和host，uvicorn不会自动读取环境变量，需修改为：

CMD ["uvicorn", "main:app", "--host", "0.0.0.0", "--port", "8080"]

另外，基础镜像tiangolo/uvicorn-gunicorn-fastapi自带gunicorn启动配置，直接使用uvicorn命令可能绕过镜像默认逻辑，建议保留镜像默认启动方式（删除自定义CMD，镜像会自动处理）。

3. 模型加载超时处理 #

容器启动时自动下载模型可能导致启动时间过长，超过Vertex AI健康检查超时阈值：

• 提前将模型打包进镜像，避免启动时下载；
• 在Vertex AI部署时延长健康检查超时时间；
• 修改健康检查路由，仅当模型加载完成后才返回200，避免假健康状态。

4. 文件路径与Python环境配置 #

Dockerfile中路径切换逻辑可能导致Python导入报错：

• 需确保/emotions在Python的sys.path中，可在main.py开头添加：

  import sys
  sys.path.append("/emotions")
  

  或在Dockerfile中添加环境变量：

  ENV PYTHONPATH=/emotions
  

5. 本地验证排查 #

本地运行容器，查看启动日志和接口响应，定位问题：

docker build -t emotion-app .
docker run -p 8080:8080 emotion-app

访问http://localhost:8080/isalive检查响应，同时查看容器日志是否有导入错误、模型下载失败等异常。

内容的提问来源于stack exchange，提问作者Ahmad Coachendo