多节点SLURM集群srun执行nvidia-smi输出交错,如何按实例有序输出
问题现象
在SLURM调度的多节点集群上执行srun -N 2 -C worker nvidia-smi时,两个节点的输出会混杂交错,无法直接得到每个节点独立完整的nvidia-smi输出。
问题原因
srun默认会将所有已分配节点的标准输出、标准错误并行写入当前提交作业的终端,没有按节点做块级缓冲或拆分,因此会出现不同节点的输出行穿插混杂的问题。
解决方案
方案1:为每个节点生成独立输出文件
给srun添加--output参数,指定输出文件的命名规则,执行完成后直接查看对应节点的日志文件:
srun -N 2 -C worker --output=node_%n_nvidia_smi.log nvidia-smi
%n是SLURM内置的节点编号占位符,会自动替换为当前节点在本次作业中的序号。执行完成后,当前目录下会生成node_0_nvidia_smi.log、node_1_nvidia_smi.log两个文件,分别对应两个节点的完整独立输出,内容规整无交错。
方案2:逐节点循环执行
如果不需要生成临时文件,可先获取本次分配的节点列表,循环在单个节点上执行命令,按顺序输出所有节点的结果:
# 获取当前作业分配的所有节点列表 nodes=$(scontrol show hostnames $SLURM_JOB_NODELIST) # 逐节点执行并打印输出 for node in $nodes; do echo "===== 节点 $node 输出 =====" srun -w $node nvidia-smi done
该方式输出完全按节点拆分,不会出现内容交错,同时会标注对应节点名称。
方案3:输出加节点前缀标记
如果仅需要区分每行输出来自的节点,不需要完全拆分独立输出,可添加-l(即--label)参数:
srun -N 2 -C worker -l nvidia-smi
每行输出开头会自动添加节点编号前缀,例如0: Tue Dec 15 22:37:55 2020、1: Tue Dec 15 22:37:55 2020,可基于前缀手动拆分对应节点的完整内容。
内容的提问来源于stack exchange,提问作者Chaitanya Bapat
相关产品推荐
相关产品推荐

