无法将Slurm节点状态从inval改为idle的技术求助

问题分析 #

节点状态显示inval（无效）通常是Slurm节点配置与系统实际不符、slurmd服务未正常运行，或节点未完成注册导致的；直接执行scontrol update nodename=localhost state=idle失败，是因为无效状态的节点无法直接切换到idle，需要先恢复节点的有效性。

解决步骤 #

1. 确保WSL启用systemd #

Ubuntu 22.04 WSL默认未启用systemd，会导致Slurm服务管理异常：

• 编辑/etc/wsl.conf文件，添加以下内容：

  [boot]
  systemd=true
  

• 执行wsl --shutdown重启WSL，重新进入系统后验证：systemctl status

2. 检查并修复Slurm节点配置 #

对比slurm.conf与系统实际资源：

• 查看系统CPU核心数：nproc，确保NodeName=localhost行的CPUs值与实际一致
• 查看系统可用内存（MB）：free -m，确保RealMemory值不超过实际可用内存
• 修改配置后重启Slurm服务：

  sudo systemctl restart slurmctld
  sudo systemctl restart slurmd
  

3. 修复节点状态 #

针对inval状态的节点，需先恢复有效性，再设置为idle：

1. 先将节点标记为DOWN：

   sudo scontrol update nodename=localhost state=DOWN reason="fix invalid state"
   

2. 恢复节点为可用状态：

   sudo scontrol update nodename=localhost state=RESUME
   

3. 此时查看节点状态：sinfo，节点应转为idle；若未自动切换，可执行：

   sudo scontrol update nodename=localhost state=IDLE
   

   注意：状态参数需大写（Slurm部分命令对大小写敏感）

4. 排查日志定位深层问题 #

若上述步骤无效，查看Slurm日志找具体错误：

• slurmctld日志：cat /var/log/slurm/slurmctld.log
• slurmd日志：cat /var/log/slurm/slurmd.log
  日志会明确提示配置错误、服务启动失败等具体原因。

内容的提问来源于stack exchange，提问作者Krishna