如何在GKE上为Snakemake 8分配GPU以触发Kubernetes自动扩缩容

针对你遇到的GPU资源配置无法触发GKE节点池自动扩缩容（CPU/内存资源正常）的问题，可按以下步骤排查和解决：

1. 确认Snakemake与GKE的GPU资源名称映射 #

GKE中GPU资源的标准标识是nvidia.com/gpu，但Snakemake默认使用gpu作为资源名称，可能未正确映射到GKE的资源类型。需显式配置资源映射：

• 在config.yaml中添加：

  kubernetes:
    resources:
      gpu: "nvidia.com/gpu"
  

• 或在命令行启动时指定：

  snakemake --kubernetes --kubernetes-resource-mapping gpu=nvidia.com/gpu ...
  

2. 验证Pod的GPU资源请求是否正确生成 #

提交一个简单的测试规则，检查Snakemake生成的Pod规格是否包含正确的GPU资源请求：

rule test_gpu_job:
    output:
        "gpu_test.txt"
    resources:
        gpu=1
    shell:
        "echo 'GPU job executed' > {output}"

执行snakemake --kubernetes --dry-run，查看输出的Pod YAML，确认spec.containers[].resources.requests中存在nvidia.com/gpu: 1。如果缺失，检查规则内的resources配置是否生效（比如是否有语法错误）。

3. 检查GPU节点池的自动扩缩容配置 #

• 确认GPU节点池已启用节点自动扩缩容，且最大节点数设置大于当前节点数（避免达到上限无法扩容）。
• 检查GKE集群的Cluster Autoscaler是否允许该节点池扩容（无特殊限制策略）。

4. 配置Pod的Toleration适配GPU节点Taint #

GKE GPU节点默认会打上taint（如nvidia.com/gpu:NoSchedule），需确保Snakemake生成的Pod带有对应toleration：

• 在config.yaml中添加：

  kubernetes:
    tolerations:
      - key: "nvidia.com/gpu"
        operator: "Exists"
        effect: "NoSchedule"
  

• 或命令行指定：

  snakemake --kubernetes --kubernetes-toleration nvidia.com/gpu:Exists:NoSchedule ...
  

若Pod无对应toleration，会被调度到非GPU节点，GPU节点池因无符合条件的Pod调度请求，不会触发扩容。

5. 指定节点选择器绑定GPU节点池 #

为Pod添加节点选择器，确保其被调度到GPU节点池（GPU节点通常带有标签如cloud.google.com/gke-accelerator: nvidia-tesla-t4）：

• 在config.yaml中添加：

  kubernetes:
    node-selector:
      cloud.google.com/gke-accelerator: nvidia-tesla-t4
  

• 或命令行指定：

  snakemake --kubernetes --kubernetes-node-selector cloud.google.com/gke-accelerator=nvidia-tesla-t4 ...
  

未指定节点选择器时，Pod可能被调度到非GPU节点，导致GPU资源请求无法触发GPU节点池扩容。

6. 查看Cluster Autoscaler日志定位问题 #

通过GKE控制台或gcloud命令查看Cluster Autoscaler日志，搜索目标Pod名称，排查是否存在扩容失败的具体原因（如"pod has unmet tolerations"、"no eligible node groups to scale"等）。

内容的提问来源于stack exchange，提问作者Devin Burke