如何查询SLURM集群中各节点的空闲GPU数量？

sinfo本身支持通过自定义格式字段获取GPU的分配状态，结合%G（总GPU数）和%g（已分配GPU数）两个字段，就能实现类似CPU%C的查询效果：

基础查询命令 #

直接展示节点的总GPU和已分配GPU数：

sinfo -p gpu --format="%9P %10n %10T %G %g"

各字段含义：

• %9P：分区名称（固定宽度9字符）
• %10n：节点名称（固定宽度10字符）
• %10T：节点状态（固定宽度10字符）
• %G：节点总GPU数量
• %g：节点已被分配的GPU数量

直观展示已用/总GPU比例（类似CPU %C） #

如果想和CPU的%C格式一致，直接输出已分配/总GPU的形式：

sinfo -p gpu --format="%9P %10n %10T %g/%G"

直接显示空闲GPU数 #

通过awk计算并追加空闲GPU数量：

sinfo -p gpu --format="%9P %10n %10T %G %g" | awk 'NR>1 {free=$4-$5; print $0, "| 空闲GPU:", free}'

这些命令都基于sinfo本身的字段扩展，不需要额外工具就能满足你查看mix状态节点GPU使用情况的需求。

内容的提问来源于stack exchange，提问作者Doc