使用Vertex AI部署Model Garden公共模型时如何获取正确Model ID？

问题场景 #

执行以下gcloud命令部署Vertex AI Model Garden中的Meta Llama 2公共模型时：

gcloud ai endpoints deploy-model ENDPOINT_ID\
  --region=LOCATION_ID \
  --model=MODEL_ID \
  --display-name=DEPLOYED_MODEL_NAME \
  --min-replica-count=MIN_REPLICA_COUNT \
  --max-replica-count=MAX_REPLICA_COUNT \
  --traffic-split=0=100

使用publishers/meta/models/llama2作为MODEL_ID，出现报错：

ERROR: (gcloud.ai.endpoints.deploy-model) There is an error while getting the model information. Please make sure the model 'projects/my-test-project/locations/us-east1/models/publishers/meta/models/llama2' exists.

系统错误地将公共模型路径解析为私有项目的模型注册表路径，导致找不到目标模型。已知可通过Model Garden UI部署，但需使用gcloud CLI完成操作。

核心疑问 #

1. 能否直接通过gcloud CLI调用Model Garden的公共模型进行部署，无需导入私有注册表？
2. 如果可以，正确的命令格式是什么？

解决方案 #

1. 无需导入私有注册表，直接部署公共模型 #

不需要将公共模型导入私有模型注册表，问题出在模型ID格式错误和未指定具体模型版本：

• Model Garden中的Llama 2公共模型有多个细分版本（如7B聊天版、13B聊天版等），不存在名为llama2的通用模型ID，需指定具体版本，例如llama2-7b-chat或llama2-13b-chat。
• 正确的公共模型ID格式为publishers/meta/models/[具体版本ID]，gcloud CLI会自动识别这是公共模型资源，不会解析到私有项目路径。

2. 修正后的部署命令 #

以部署Llama 2 7B聊天版为例，正确命令如下：

gcloud ai endpoints deploy-model ENDPOINT_ID \
  --region=LOCATION_ID \
  --model=publishers/meta/models/llama2-7b-chat \
  --display-name=DEPLOYED_MODEL_NAME \
  --min-replica-count=MIN_REPLICA_COUNT \
  --max-replica-count=MAX_REPLICA_COUNT \
  --traffic-split=0=100

3. 额外注意事项 #

• 确保指定的LOCATION_ID是该公共模型支持的区域（例如us-east1、europe-west4等）。
• 你的Google Cloud项目必须已获得Meta Llama 2模型的使用权限（需在Model Garden页面完成权限申请）。

内容的提问来源于stack exchange，提问作者hubatish