GCP asia-southeast1区域NVIDIA A100 GPU实例创建失败

问题描述 #

尝试创建搭载A100 40GB GPU的GCP实例用于Transformer模型训练，遇到错误：

Operation type [insert] failed with message "Quota 'NVIDIA_A100_GPUS' exceeded. Limit: 0.0 in region asia-southeast1."

已将该区域的GPU配额从0提升至1，且收到确认邮件，配额面板也显示更新后的数值。

解决步骤 #

• 等待配额生效延迟：GCP配额更新存在后台同步延迟，通常需要15-30分钟，即便面板显示更新，也建议等待半小时后再尝试创建实例。
• 核对实例GPU规格：确认创建实例时选择的是NVIDIA A100 40GB，而非A100 80GB（后者对应配额为NVIDIA_A100_80GB_GPUS，与当前申请的配额不通用）。
• 验证项目与区域一致性：检查当前操作的GCP项目是否和申请配额的项目一致，同时确保实例创建区域确实是asia-southeast1，避免误选邻近区域。
• 刷新配额缓存并验证：通过gcloud命令行查看实时配额状态，执行命令：

  gcloud compute regions describe asia-southeast1 --format="value(quotas)"
  

  输出中确认NVIDIA_A100_GPUS的limit值为1后，再尝试创建实例；若仍显示0，可重新提交配额申请（后台同步异常时可能需要此操作）。
• 检查实例创建参数：确保创建实例时指定的GPU型号参数为nvidia-tesla-a100，错误的参数会触发错误的配额校验逻辑。

内容的提问来源于stack exchange，提问作者arkh