Vertex AI自定义容器批量预测机制及parameters参数配置咨询

问题1解答 #

会。Vertex AI 批量预测服务处理自定义容器任务时，会先将你指定的GCS路径下的CSV源数据按批次拆分，每批次的CSV行数据会自动转换为请求体中instances数组的对应元素，最终生成和在线预测结构一致的POST请求，发送到你容器的/predict路径。
举个例子，如果你的CSV每行是1.2,5.3,cat三个字段，那对应单条instance就是[1.2,5.3,"cat"]，整批次请求体结构如下：

{
  "instances": [
    [1.2,5.3,"cat"],
    [2.4,1.7,"dog"],
    ...
  ]
}

你自定义容器的预测接口逻辑不需要针对CSV输入做额外适配，和在线预测的处理逻辑保持一致即可。

问题2解答 #

可以，配置方式非常简单。你通过Python SDK调用batch_predict方法时，直接传入parameters参数即可，参数值为你需要传递的字典结构，Vertex AI会自动将该参数值放到每一次POST到/predict的请求体中，和instances字段平级，和在线预测的传参结构完全一致。
示例代码如下：

my_model.batch_predict(
    instances_format="csv",
    gcs_source="gs://你的bucket/输入路径/*.csv",
    gcs_destination_prefix="gs://你的bucket/输出路径/",
    # 这里传入你需要的parameters参数
    parameters={"threshold": 0.7, "max_return_num": 3}
)

你容器侧的逻辑也不需要调整，直接和在线预测时一样从请求体读取parameters字段即可。

内容的提问来源于stack exchange，提问作者racerX