求助：Slurm作业无法从登录节点提交，疑为个人环境问题

• 检查Slurm客户端配置文件

  • 查看登录节点个人目录下的~/.slurm或~/.slurm.conf文件，对比正常用户的配置，确认是否存在错误的SlurmctldHost、SlurmPort等参数，或自定义配置与集群设置冲突。
  • 执行sinfo --version和scontrol show config，验证客户端版本与集群控制节点配置是否匹配，同时检查是否有SLURM_CONF这类环境变量覆盖了默认配置。

• 验证环境变量

  • 执行env | grep SLURM，排查是否存在异常变量（比如残留的SLURM_JOB_ID、错误设置的SLURM_SUBMIT_HOST）。
  • 对比正常用户的环境变量输出，定位差异项并逐一验证是否为问题根源。

• 检查文件与目录权限

  • 确认个人.ssh目录权限为700，密钥文件（如id_rsa）权限为600，避免SSH认证失败影响Slurm通信。
  • 检查作业临时目录（如/tmp或集群指定目录）的读写权限，执行df -h /tmp确认是否磁盘已满。

• 测试基础连通性与调试

  • 在登录节点执行scontrol ping，测试与Slurm控制节点的连通性。
  • 使用调试模式提交作业，比如sbatch --verbose test.job，通过详细输出定位具体失败原因（如认证错误、配置读取失败）。

• 确认用户账号状态

  • 执行sacctmgr show user $USER，查看个人Slurm账号属性，对比正常用户的配置，确认是否存在配额耗尽、账号受限等情况。
  • 联系集群管理员，核实账号是否被加入提交黑名单或有特殊限制规则。

• 清理个人环境缓存

  • 用bash --noprofile --norc启动干净shell后尝试提交作业，排除.bashrc、.bash_profile中的错误配置（如PATH覆盖、命令别名冲突）。
  • 删除个人目录下Slurm相关缓存文件（如~/.slurm/d下的临时文件）后重新尝试提交。

内容的提问来源于stack exchange，提问作者Jonatan Öström