如何在Slurm中配置并使用Shard资源？

一、集群Shard资源配置 #

1. 配置slurm.conf #

需在集群配置文件中添加Shard资源类型，并在目标节点声明可用资源量：

GresTypes=gpu,shard
NodeName=ubuntu-deeplearning-2602011  NodeAddr=10.26.2.11  Gres=gpu:10,shard:1000 CPUs=48 Boards=1 SocketsPerBoard=2 CoresPerSocket=12 ThreadsPerCore=2 RealMemory=257589 State=UNKNOWN

• GresTypes字段新增shard，标识集群支持该资源类型
• 节点配置的Gres字段指定该节点拥有1000单位的Shard资源

2. 配置gres.conf #

在资源映射文件中定义Shard资源的具体关联规则：

#AutoDetect=nvml
NodeName=ubuntu-deeplearning-2602011 Name=gpu File=/dev/nvidia[0-9]
NodeName=ubuntu-deeplearning-2602011 Name=shard Count=1000 File=/dev/nvidia[0-9]

这里为目标节点配置1000单位的Shard资源，File字段关联到GPU设备文件（可根据Shard的实际用途调整，比如内存分片可对应其他系统路径）。

配置完成后，重载Slurm服务使配置生效：

scontrol reconfigure

二、作业脚本中调用Shard资源 #

在你的test.sh脚本中，通过--gres参数同时指定GPU和所需的Shard资源量，格式为shard:<数量>：

#!/bin/bash
#SBATCH --gres=gpu:1,shard:50  # 示例：申请1块GPU + 50单位Shard资源
# 其他作业参数（如节点数、CPU数等）按需添加

# 此处写入你的作业执行命令

只需将shard:50中的50替换为实际需要的Shard资源单位数即可。

三、验证资源分配 #

提交作业后，可通过以下命令查看作业的资源分配详情，确认Shard资源是否被正确分配：

sacct -j <你的作业ID> --format=JobID,Nodes,Gres

内容的提问来源于stack exchange，提问作者lei