Vertex AI部署私有Hugging Face TEI模型失败：无法下载模型工件

尝试使用Text Embeddings Inference (TEI)工作流将私有Hugging Face模型Linq-AI-Research/Linq-Embed-Mistral部署到Vertex AI时持续报错。3天前用相同方法部署其他模型可正常运行，怀疑后端存在变更或遗漏了新要求。

部署详情 #

• 使用Vertex AI TEI部署示例Notebook
• 参考Vertex AI使用Hugging Face模型官方文档
• 模型ID：Linq-AI-Research/Linq-Embed-Mistral（未在Model Garden中列出的私有模型）
• 区域：us-east4
• 机器类型：a2-ultragpu-1g
• 加速器类型：NVIDIA_A100_80GB
• TEI Docker镜像：us-docker.pkg.dev/deeplearning-platform-release/gcr.io/huggingface-text-embeddings-inference-cu122.1-4.ubuntu2204
• Hugging Face令牌：通过环境变量HF_API_TOKEN提供（已验证可独立使用）

错误信息 #

1. Vertex AI日志输出：

message: "Token file not found \"token\""
message: "Error: Could not download model artifacts"

2. 代码返回错误：

FailedPrecondition: 400 Model server exited unexpectedly. Model server logs can be found at https://console.cloud.google.com/

部署在模型工件下载步骤终止，尝试Notebook中的两种部署选项均失败。

已排查项 #

• Hugging Face令牌有效且配置正确
• 3天前用相同方法成功部署过其他模型
• 部署流程未做代码变更

问题 #

1. 是否有人在Vertex AI TEI部署时遇到过Token file not found "token"错误？
2. TEI部署私有Hugging Face模型是否新增了认证要求？
3. Vertex AI对TEI支持的机器类型或加速器近期是否有变更？
4. 该问题是否与最新版TEI Docker镜像有关？

内容的提问来源于stack exchange，提问作者George Atoyan