Vertex AI运行提交管道遇custom_model_training_cpus配额耗尽问题求助

报错信息 #

com.google.cloud.ai.platform.common.errors.AiPlatformException: code=RESOURCE_EXHAUSTED, message=The following quota metrics exceed quota limits: aiplatform.googleapis.com/custom_model_training_cpus, cause=null; Failed to create custom job for the task.

解决建议 #

• 核查配额使用状态：
  登录Google Cloud控制台，进入「IAM与管理」→「配额」，搜索aiplatform.googleapis.com/custom_model_training_cpus，查看项目当前已使用量和配额上限，确认是否确实超出阈值。

• 申请配额提升：
  若配额不足，在配额页面点击该指标右侧的「编辑配额」，填写所需CPU数量及合理申请理由（如业务训练需求），提交后等待Google Cloud团队审批。

• 优化训练任务配置：
  即便单任务使用n1-standard-4（4vCPU），也要检查DAG中是否存在多训练任务并行执行的情况，叠加的CPU用量会触发配额限制。可调整DAG并行度，将部分任务改为串行执行；或在训练任务允许的前提下，减少单个任务的CPU分配。

• 确认配额区域一致性：
  Vertex AI训练CPU配额按区域划分，需确保训练任务部署的区域与配额查询的区域一致，避免跨区域配额不通用的问题。

• 清理遗留占用资源：
  进入Vertex AI「自定义作业」页面，检查是否有未正常终止的训练任务，这类任务会持续占用CPU资源，手动清理后可释放配额。

内容的提问来源于stack exchange，提问作者FEI XIA