Vertex AI AutoML目标检测批量预测耗时异常变长求助

大家好，我最近碰到了一个很奇怪的Vertex AI批量预测问题，想请教下有没有同行遇到过或者知道怎么解决：

之前我用Vertex AutoML做目标检测的批量预测一直很正常，脚本也没有做任何改动，但最近几天突然出现了耗时异常变长的情况——之前处理7503张图片的任务很快就完成了，结果这次仅处理20张图片，耗时反而比那次还久，最后我不得不手动取消了任务。

我的批量预测输入数据是严格按照官方文档要求准备的，格式如下：

{"content": "gs://bucket_name/folder/sub_folder/JPEG_01.jpg", "mimeType": "image/jpeg"}
{"content": "gs://bucket_name/folder/sub_folder/JPEG_02.jpg", "mimeType": "image/jpeg"}

批量预测的Python脚本也是参考官方文档写的，代码如下：

def create_batch_prediction_job(job_display_name, data_input_path, result_prediction_path, model_resource_name):

    aiplatform.init(project=project_id, location=region_id)
    model = aiplatform.Model(model_resource_name)

    batch_prediction_job = model.batch_predict(
        job_display_name = job_display_name,
        gcs_source = data_input_path,
        gcs_destination_prefix = result_prediction_path,
        sync = True,
    )
    
    batch_prediction_job.wait()
    
    print(f"Batch Prediction Job Name: {job_display_name}")
    print(f"Batch Prediction Job : {batch_prediction_job.resource_name}")
    print(f"\nState")
    print(batch_prediction_job.state)
    
    return batch_prediction_job

这里有两个任务的状态对比：

• 成功任务：处理7503张图片的批量预测任务顺利完成，耗时符合日常预期
• 异常任务：仅处理20张图片的任务，运行时间远超前者，最终因耗时过长被我手动取消

我已经查看了任务的VIEW DETAILS和View Logs，但没有找到任何能说明问题的异常信息。目前已经在Google官方问题跟踪平台提交了该问题，正在等待官方回复，也想在这里问问社区有没有类似的经验或者解决方案。

备注：内容来源于stack exchange，提问作者Krisna Gita