Slurm作业启动2秒内以退出码0:53静默失败，求排查方案

• 明确退出码含义：Slurm返回的0:53格式中，前半部分0是作业主退出码，后半部分53为终止信号编号。标准信号列表里没有53，这大概率是集群自定义信号、Slurm内部封装的错误码，或是节点本地系统的非标准信号。
• 检查Slurm核心日志：
  • 查看Slurm控制器日志（通常路径为/var/log/slurm/slurmctld.log）和计算节点日志（/var/log/slurm/slurmd.log），重点关注作业启动前后的日志条目，这类信号触发的原因通常会在日志里留下线索，比如节点资源耗尽、PAM认证失败、脚本权限异常、配置冲突等。
• 验证节点与脚本可用性：
  • 用sinfo命令确认计算节点状态，排除节点处于down或drain状态的情况。
  • 在目标计算节点上手动执行作业脚本（如果是简单脚本），或提交最基础的测试作业（比如srun hostname），判断是集群全局问题还是特定脚本/参数问题。
• 核对作业提交参数：
  • 检查提交作业时指定的--partition、--nodes、--ntasks等参数是否符合集群配置，避免指定不存在的分区或超出节点资源上限的参数。
• 排查配置与权限问题：
  • 确认Slurm的slurm.conf中ProctrackType、TaskPlugin等关键配置项无异常，排查最近是否有配置变更。
  • 检查作业提交用户对作业目录、脚本文件的读写执行权限，同时确认节点上的slurm系统用户拥有启动进程的足够权限。
• 求助集群管理员：
  • 若以上步骤均未定位问题，信号53极有可能是集群定制化的错误码，只有管理员能通过内部文档或集群专属配置找到对应触发原因，比如节点安全策略拦截作业进程等。

内容的提问来源于stack exchange，提问作者Cornelius Roemer