如何在低于0.13版本的KServe中部署Hugging Face Transformers推理模型

一、适配旧版本KServe的部署步骤调整 #

基于你已完成的模型准备、镜像构建等工作，针对KServe 0.13以下版本（以0.10-0.12为例），需做以下核心调整：

1. 修正InferenceService的API版本
   旧版本KServe使用serving.kserve.io/v1beta1作为API版本（0.9及以下可能用v1alpha2，需根据你的具体版本确认），替换YAML中的apiVersion字段：

apiVersion: serving.kserve.io/v1beta1
kind: InferenceService
metadata:
  name: huggingface-model
spec:
  predictor:
    containers:
      - name: model-container
        image: your-registry/your-model-image:latest
        resources:
          requests:
            cpu: "1"
            memory: "2Gi"
          limits:
            cpu: "2"
            memory: "4Gi"

2. 调整推理脚本的请求格式与端点
   旧版本KServe默认使用V1推理协议，要求脚本实现两个核心端点：

• /healthz：健康检查端点，返回200状态码即可
• /predict：处理预测请求，请求体格式通常为{"data": ["待预测文本1", "待预测文本2"]}

以下是基于FastAPI的示例推理脚本片段：

from fastapi import FastAPI, Request
from transformers import pipeline, AutoTokenizer, AutoModelForSequenceClassification
import uvicorn

app = FastAPI()

# 加载模型与分词器（你已完成的部分）
model_name = "your-model-name"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForSequenceClassification.from_pretrained(model_name)
classifier = pipeline("text-classification", model=model, tokenizer=tokenizer)

# 健康检查端点
@app.get("/healthz")
async def health_check():
    return {"status": "healthy"}

# 预测端点
@app.post("/predict")
async def predict(request: Request):
    req_body = await request.json()
    texts = req_body.get("data", [])
    results = classifier(texts)
    return {"predictions": results}

if __name__ == "__main__":
    uvicorn.run(app, host="0.0.0.0", port=8080)

3. 确认Docker镜像的启动命令
   确保Dockerfile中明确指定启动命令，比如：

FROM python:3.9-slim

WORKDIR /app

COPY requirements.txt .
RUN pip install --no-cache-dir -r requirements.txt

COPY inference.py .
COPY model/ ./model/

# 启动推理服务
CMD ["uvicorn", "inference:app", "--host", "0.0.0.0", "--port", "8080"]

4. 部署与验证
   使用kubectl部署调整后的YAML：

kubectl apply -f your-inferenceservice.yaml

验证部署状态：

kubectl get inferenceservices

待状态变为Ready后，通过端口转发测试预测：

kubectl port-forward svc/huggingface-model-predictor 8080:80

用curl发送请求测试：

curl -X POST http://localhost:8080/predict -H "Content-Type: application/json" -d '{"data": ["Hello, world!"]}'

二、旧版本KServe的关键注意事项 #

• API版本严格匹配：不同旧版本对应不同API版本，0.10-0.12用v1beta1，0.9及以下用v1alpha2，使用错误版本会导致部署失败。
• 协议兼容性：旧版本对V2推理协议（/v1/models/<model-name>:predict）支持有限，优先使用V1协议的/predict端点，避免请求失败。
• Predictor配置限制：0.13版本引入的spec.predictor.model字段在旧版本中不存在，必须直接通过spec.predictor.containers配置镜像、资源、环境变量等。
• 健康检查要求：必须实现/healthz端点，KServe会定期调用该端点检查服务状态，未实现会导致Pod被标记为不健康。
• 资源配置合理性：旧版本资源调度逻辑较简单，需根据模型大小合理设置CPU、内存的requests和limits，避免因资源不足导致Pod启动失败。
• 镜像拉取权限：如果使用私有镜像仓库，需确保KServe的服务账号具有拉取权限，可通过配置ImagePullSecret实现。

内容的提问来源于stack exchange，提问作者Reehan