关于Vertex AI文本预测请求格式与计费计数的技术问询

记录数计数规则 #

• 你提供的示例请求中，instances数组的长度即为记录数——示例里数组包含3个元素，会被计为3条预测记录，对应定价文档中的计费逻辑。

单instance文本长度限制 #

• 单条instance内的文本长度没有统一强制上限，主要受两个因素约束：
  • 你部署的具体模型的输入限制：比如常见的BERT系列模型通常有512或1024个token的输入上限；
  • Vertex AI平台的请求大小限制：同步预测的单条请求总数据量不能超过1.5MB，批量预测的上限更高，但仍需匹配模型的输入要求。
• 只要单instance文本的token数不超出模型输入上限，且整个请求的总大小在平台限制范围内，即可正常发送请求。

内容的提问来源于stack exchange，提问作者Ahmad Coachendo