如何通过SLURM查询计算节点当前的可用GPU数量？

这类信息默认对普通用户开放，仅当集群管理员特意配置了权限限制时才无法查询，你可以通过以下两种常用方式直接获取节点的GPU剩余数量：

• 方法1：用sinfo批量查询所有节点的GPU使用情况
  执行以下自定义输出格式的sinfo命令，可直接展示所有节点的状态、总GPU数、已分配GPU数：

  sinfo -o "NodeName:%N State:%T TotalGPUs:%G AllocatedGPUs:%GresUsed"
  

  单节点4GPU的场景下，若某mixed状态节点的AllocatedGPUs显示为gpu:2，则剩余可用GPU数为2。

• 方法2：用scontrol查询指定节点的详细资源占用
  如果你需要查询某一个特定节点的精准资源信息，执行以下命令即可：

  scontrol show node <你要查询的节点名>
  

  返回结果中找到Gres字段（总GPU数）和GresUsed字段（已分配GPU数），二者差值即为剩余可用GPU数量。

如果执行以上命令后没有返回GPU相关的Gres/GresUsed字段，才说明你的集群管理员关闭了普通用户的资源详细信息查询权限，此时你可以联系集群管理员咨询相关信息。

内容的提问来源于stack exchange，提问作者spiridon_the_sun_rotator