在Vertex AI Workbench调用Model Garden的Mistral模型时ID无效报错如何解决？

核心问题分析 #

1. 模型类型不匹配：Mistral-7B-v0.1是文本生成模型，不能用TextEmbeddingModel类调用，这是触发错误的原因之一。
2. 模型ID格式不一致：部署端点时使用的Model Garden ID（mistralai/Mistral-7B-v0.1）与Vertex AI SDK的from_pretrained()方法要求的格式不兼容。

正确调用方式 #

1. 调用Mistral-7B-v0.1文本生成模型 #

使用Vertex AI SDK规范的全小写模型ID：

from vertexai.language_models import TextGenerationModel

text_model = TextGenerationModel.from_pretrained("mistralai/mistral-7b-v01")

2. 调用Model Garden中的嵌入模型 #

如果需要文本嵌入功能，需选择专门的嵌入类模型（例如Mistral官方的嵌入模型），调用示例：

from vertexai.language_models import TextEmbeddingModel

embeddings_model = TextEmbeddingModel.from_pretrained("mistralai/mistral-embed")

关键说明 #

• Vertex AI SDK对第三方模型的ID格式要求为publisher/model-name，通常采用全小写、无大写字母和点号分隔版本号的格式，与Model Garden部署页面显示的ID可能存在差异。
• 确认模型类型：文本生成模型只能用TextGenerationModel调用，嵌入模型只能用TextEmbeddingModel调用，不可交叉使用。

内容的提问来源于stack exchange，提问作者Deckard