Vertex AI在线预测报错ResourceExhausted 429元数据超限问题咨询

这个错误和你发送的JSON请求体体积无关，核心是2个层面的问题：

1. 你没有按照Vertex AI在线预测的规范传递base64格式的图像数据：如果你直接把base64字符串作为实例字段的值传入，没有嵌套在b64特殊字段中，服务端会把整段base64串识别为普通字符串做额外解析，处理过程中产生的响应元数据（trailing metadata）超出了gRPC接口默认的8KB上限，就会抛出该错误。如果你的base64串带了data:image/xxx;base64,这类前端用的前缀，也会进一步放大解析过程的元数据体积，更容易触发超限。
2. 如果你用的是免费的共享资源预测端点，公共配额被占满时也会附带返回该类429资源耗尽报错，和你本身的请求逻辑无关。

• 首先修正请求格式，严格按照Vertex AI的二进制传参规则构造请求，示例结构如下：

{
  "instances": [
    {
      "image_input": {
        "b64": "纯base64编码内容，去掉所有数据前缀"
      }
    }
  ]
}

• 编码前先对图像做轻量化预处理：按照模型要求的输入尺寸resize、适当调低JPEG/PNG压缩比（不影响推理精度即可），进一步缩小base64字符串的体积。
• 如果你是通过gRPC接口调用服务，手动调高客户端的元数据上限配置，比如Python的gRPC客户端可以新增以下参数：
  options=[("grpc.max_metadata_size", 32*1024), ("grpc.max_receive_message_length", 16*1024*1024)]
• 把预测端点从共享资源节点切换为专用资源节点，专用节点的元数据限制更宽松，也不会被公共配额影响。
• 大体积图像批量处理场景可以改用Vertex AI批量预测服务，没有单请求1.5MB的体积限制，也不会触发该类元数据超限错误。

内容的提问来源于stack exchange，提问作者ARAFAT