Slurm集群MUNGE认证错误求助：节点重启后协议认证失败

1. 先解决节点时钟同步问题 #

从slurmctld日志能看到明确提示Check for out of sync clocks，而且编码时间和解码时间差了5分钟，时钟不同步是MUNGE认证失败的核心原因之一：

• 在管理节点和comp04节点上执行timedatectl status，检查当前时间和NTP服务状态
• 确保chronyd（或ntpd）服务正常运行：
  • 查状态：systemctl status chronyd
  • 没运行的话直接启动并设为开机自启：systemctl start chronyd && systemctl enable chronyd
• 强制同步时钟（如果NTP没自动同步）：chronyc makestep（用chronyd的话），或者ntpd -qg（用ntpd的话）
• 再用date命令对比两个节点的时间，确保误差不超过1分钟

2. 重新同步MUNGE密钥 #

断电可能导致节点间MUNGE密钥文件损坏或不一致，按以下步骤同步：

• 从管理节点把MUNGE密钥复制到comp04（替换成实际用户名和节点名）：
  scp /etc/munge/munge.key root@comp04:/etc/munge/munge.key
• 在comp04上设置密钥文件的正确权限：
  chown munge:munge /etc/munge/munge.key && chmod 400 /etc/munge/munge.key
• 重启comp04的MUNGE服务：systemctl restart munge
• 接着重启comp04的slurmd服务：systemctl restart slurmd

3. 验证节点状态（必要时重启管理节点Slurm服务） #

• 在管理节点执行sinfo，查看comp04是否恢复在线
• 如果还是有认证错误，重启管理节点的slurmctld服务：systemctl restart slurmctld
• 实时监控slurmctld日志确认错误消失：journalctl -u slurmctld -f

内容的提问来源于stack exchange，提问作者paul runner