部署新模型时Google Vertex端点不可用问题排查

核心原因 #

你的代码里load_models()是在Flask app初始化时同步执行的——也就是说，Flask服务要等模型完全加载完才会启动监听端口。这直接导致两个关键问题：

• 部署平台可能把「进程启动」当成「服务就绪」，提前把流量切到新实例，但此时健康检查端点根本还没上线，平台没法判断模型是否加载完成；
• 旧实例可能在新实例的模型还没加载好的时候就被销毁，直接造成服务断档。

另外还要排查部署平台的配置：如果平台没把「健康检查通过」作为流量切换的必要条件，或者采用「先删旧实例再启新实例」的部署策略，也必然会出现服务不可用的情况。

修复方案 #

1. 异步加载模型，不阻塞Flask启动
   把模型加载放到后台线程中，让Flask先启动健康检查端点，等模型加载完成后再更新状态。修改后的代码示例：

from flask import Flask, request, abort
import threading

def load_models():
    global model, MODELS_ARE_LOADED
    # 从GCS加载模型的逻辑
    # ...
    model = 加载完成的模型实例
    MODELS_ARE_LOADED = True

app = Flask(__name__)
app.json.ensure_ascii = False
MODELS_ARE_LOADED = False
model = None

# 启动后台线程加载模型，daemon=True确保线程随主进程退出
threading.Thread(target=load_models, daemon=True).start()

@app.route('/predict', methods=["POST"])
def predict():
    if not MODELS_ARE_LOADED or model is None:
        abort(503, description="模型加载中，请稍后重试")
    data = request.get_data()
    predictions = model.predict(data)
    return {"predictions": predictions}

@app.route('/health', methods=["GET"])
def health():
    if not MODELS_ARE_LOADED or model is None:
        abort(503, description="Models are not loaded yet")
    # 可选：增加模型可用性验证，避免加载完成但不可用的情况
    try:
        model.predict(测试用的极小样本)
    except Exception:
        abort(503, description="模型加载异常")
    return "OK"

2. 调整部署平台配置

• 开启滚动部署：让平台先启动新实例，等新实例的健康检查连续通过多次后，再逐步销毁旧实例；
• 配置合理的健康检查参数：设置足够的「初始延迟时间」（比如模型加载需要5分钟，就设为6分钟），以及合适的「检查间隔」和「失败阈值」，避免平台误判；
• 确保平台把「健康检查通过」作为实例接收流量的唯一判定条件，不要仅凭进程启动就放行。

3. 增强健康检查可靠性
   不要只依赖MODELS_ARE_LOADED这个布尔值，最好增加实际的模型验证步骤——比如用一个极小的测试数据跑一次预测，确保模型真的能正常工作，避免出现模型加载完成但无法预测的情况。

内容的提问来源于stack exchange，提问作者CutePoison