在Vertex AI部署Hugging Face Llama 3遇令牌权限错误求助

• 确认Hugging Face账号已获取Llama 3访问权限
  Meta的Llama系列模型需要单独申请授权，仅持有令牌无法访问。前往Hugging Face的Llama 3模型页面，检查是否显示"Access Granted"标识，未获得权限需提交申请等待审核。

• 精准配置令牌权限
  部署时仅需读取模型权重的权限，细粒度令牌只需勾选read:model权限即可，无需赋予多余权限，避免触发不必要的限制。同时确保令牌未设置IP白名单限制或过期时间。

• 规范令牌输入方式
  在Vertex AI部署界面输入令牌时，直接粘贴纯字符串，不要添加空格、换行等额外字符。若通过API部署，检查代码中令牌变量是否被转义或截断，示例代码如下：

  from google.cloud import aiplatform
  aiplatform.init(project="你的项目ID", location="us-central1")
  model = aiplatform.Model.upload(
      display_name="llama3-8b",
      source="gs://你的存储桶路径/model",
      serving_container_image_uri="us-docker.pkg.dev/vertex-ai/prediction/pytorch-gpu.2-12:latest",
      credentials={"HUGGING_FACE_HUB_TOKEN": "你的有效令牌"}
  )
  

• 检查Vertex AI服务账号权限
  部署使用的默认服务账号service-{项目编号}@gcp-sa-aiplatform.iam.gserviceaccount.com需拥有aiplatform.models.upload和storage.objects.get权限，确保该账号已被授予Vertex AI Admin角色或包含对应权限的自定义角色。

• 重置令牌重试
  即使权限配置正确，也可能存在令牌缓存或自身异常。前往Hugging Face令牌管理页面删除旧令牌，重新生成仅带read:model权限的细粒度令牌后立即用于部署。

内容的提问来源于stack exchange，提问作者Sean