Ubuntu节点上Slurm cgroups插件报错问题求助

问题背景 #

初次部署Slurm用于复杂任务的计算资源管理，核心cgroups插件运行作业时频繁报错。最初尝试cgroups V2插件未成功，切换至cgroups V1插件后，Ubuntu 18.04节点可正常运行作业，但Ubuntu 22.04节点出现一系列cgroup相关报错。

报错日志 #

[2023-10-12T14:50:29.479] [36.batch] error: unable to open '/sys/fs/cgroup/cpuset//tasks' for reading : No such file or directory
[2023-10-12T14:50:29.511] [36.batch] error: unable to mount cpuset cgroup namespace: Device or resource busy
[2023-10-12T14:50:29.511] [36.batch] error: unable to create cpuset cgroup namespace
[2023-10-12T14:50:29.511] [36.batch] error: unable to open '/sys/fs/cgroup/devices//tasks' for reading : No such file or directory
[2023-10-12T14:50:29.512] [36.batch] cgroup/v1: xcgroup_ns_create: cgroup namespace 'devices' is now mounted
[2023-10-12T14:50:29.514] [36.batch] error: common_cgroup_lock error
[2023-10-12T14:50:29.514] [36.batch] error: task_g_pre_setuid: task/cgroup: Unspecified error
[2023-10-12T14:50:29.514] [36.batch] error: Failed to invoke task plugins: one of task_p_pre_setuid functions returned error
[2023-10-12T14:50:29.515] [36.batch] error: called without a previous init. This shouldn't happen!
[2023-10-12T14:50:29.515] [36.batch] error: job_manager: exiting abnormally: Slurmd could not execve job

集群环境 #

• 2台Ubuntu 22.04节点
• 1台Ubuntu 18.04节点

额外症状与排查步骤 #

• 节点尝试执行作业后会进入idle状态，随后转为drain状态
• 修改过内核参数，但问题未解决
• 报错无规律出现，根因难以定位

已尝试操作 #

• 初始在所有节点部署Slurm并使用cgroups V2插件
• V2插件失败后切换至cgroups V1插件并尝试运行作业
• 修改内核参数试图解决问题

预期结果 #

• 切换至cgroups V1插件后所有节点（含Ubuntu 22.04）可顺利运行作业
• 修改内核参数能解决兼容性或配置问题

实际结果 #

• Ubuntu 18.04节点可正常运行作业，但Ubuntu 22.04节点问题未解决
• Ubuntu 22.04节点出现目录挂载、文件读取等一系列cgroup相关报错
• 节点执行作业后进入idle再转drain状态，修改内核参数无改善

求助内容 #

1. 这些特定报错的潜在原因
2. 可用于进一步排查的诊断工具或方法
3. Ubuntu 22.04与Slurm cgroups V1插件的兼容性问题及最佳实践

内容的提问来源于stack exchange，提问作者Francisco Maria Calisto