GCP Vertex AI AutoML模型batch predictions结果拆分多文件问题咨询

Vertex AI 运行AutoML批量预测任务时，默认会将预测结果拆分为多个小文件输出到GCS存储路径，该设计是为了提升并行处理效率，无数据丢失问题，所有输出文件汇总后记录数与输入数据集完全匹配。
比如输入5585条记录的数据集时，平台会生成21个单文件记录数在200-300区间的预测结果文件，所有文件合并后刚好覆盖全部5585条记录。

单次手动合并方案 #

• CSV格式结果合并：
  下载所有prediction_results-*.csv文件到本地同一目录后，执行以下命令合并，仅保留1次表头：

  awk 'FNR==1 && NR!=1{next;}{print}' *.csv > merged_prediction_result.csv
  

• JSONL格式结果合并：
  下载所有prediction_results-*.jsonl文件到本地同一目录后，直接合并即可：

  cat *.jsonl > merged_prediction_result.jsonl
  

云端自动化合并方案（无需本地下载） #

批量预测任务完成后，可直接在云端执行合并操作，将结果回存到GCS存储桶：

• CSV格式合并命令：

  gsutil cat gs://<你的输出存储桶路径>/prediction_results-*.csv | awk 'FNR==1 && NR!=1{next;}{print}' | gsutil cp - gs://<你的输出存储桶路径>/merged_prediction_result.csv
  

• JSONL格式合并命令：

  gsutil cat gs://<你的输出存储桶路径>/prediction_results-*.jsonl | gsutil cp - gs://<你的输出存储桶路径>/merged_prediction_result.jsonl
  

该方案可嵌入到Cloud Function、Airflow等自动化工作流中，批量预测任务触发完成后自动执行合并逻辑，无需人工介入。

内容的提问来源于stack exchange，提问作者harry