GCP GKE Autopilot添加GPU失败：Pod处于不可调度状态求助

1. 查看Pod调度失败的具体原因 #

首先执行命令获取Pod的详细调度事件，这是定位问题的核心：

kubectl describe pod my-gpu-pod-1

重点关注输出中的Events字段，这里会明确标注调度失败的具体原因，比如找不到匹配标签的节点、资源配额不足、Pod资源请求不符合Autopilot约束等。

2. 验证Autopilot集群的GPU支持匹配性 #

• 确认集群区域支持目标GPU型号：Autopilot并非在所有区域都支持所有GPU类型，需确认集群所在区域是否支持nvidia-tesla-t4型号。
• 检查节点选择器标签正确性：确保Pod的nodeSelector标签cloud.google.com/gke-accelerator: nvidia-tesla-t4拼写完全正确，注意GPU型号的大小写与官方标注一致。

3. 补充Pod的CPU/内存资源约束 #

Autopilot对GPU Pod有最低资源要求，仅设置GPU限制无法满足调度条件。建议在Pod的resources中添加CPU和内存的请求与限制，示例配置：

resources:
  requests:
    cpu: "1"
    memory: "4Gi"
    nvidia.com/gpu: 1
  limits:
    cpu: "2"
    memory: "8Gi"
    nvidia.com/gpu: 1

具体数值可根据GCP官方对T4 GPU节点的资源要求调整。

4. 检查全量资源配额 #

除GPU配额外，需确认集群所在区域的CPU、内存配额是否足够创建GPU节点：

• 登录GCP控制台，进入「IAM与管理」→「配额」
• 筛选集群所在区域，查看「Compute Engine API」下的CPU、内存配额剩余量
• 若配额不足，提交配额提升申请

5. 验证NVIDIA组件运行状态 #

Autopilot默认会自动部署NVIDIA设备插件，可通过以下命令检查组件是否正常运行：

kubectl get pods -n kube-system | grep nvidia

正常情况下应能看到nvidia-device-plugin-daemonset相关Pod处于Running状态。

6. 确认Autopilot集群的GPU启用配置 #

检查集群是否允许调度GPU Pod：

kubectl describe cluster

查看输出中是否有GPU相关配置项，确认Autopilot集群已开启GPU支持。

内容的提问来源于stack exchange，提问作者GRS