Docker Stack部署Slurm时作业间歇性无法正常完成的求助

我正尝试使用Docker Stack构建全容器化的Slurm部署，但作业无法稳定完成。除该问题外，系统其余功能正常：所有节点均可启动，能提交并运行作业，当前运行在单节点Swarm环境中。

我通过以下命令批量提交作业：

salloc -t 1 srun sleep 10

并使用squeue查看状态。部分作业会按预期在10秒后完成，但多数会持续运行直至触发-t 1设置的1分钟超时。

该系统包含五个Docker服务：

• slurm-stack_mysql
• slurm-stack_slurmdbd
• slurm-stack_slurmctld
• slurm-stack_c1
• slurm-stack_c2

其中c1和c2为工作节点，所有服务均运行同一Docker镜像，通过docker-compose.yml配置。

已发现和尝试的操作 #

• 我的Dockerfile和docker-compose.yml基于不含Stack或Swarm的docker-compose版本，该版本作业可正常完成，问题似乎出在向Docker Stack迁移的过程中。
• 日志中发现slurmdbd出现“Error connecting slurm stream socket at 10.0.2.6:6817: Connection refused”错误，对应Swarm负载均衡器的IP地址。曾通过在docker-compose.yml中将所有服务声明为全局部署消除该错误，但未解决作业问题。编辑：已关闭全局部署配置，连接拒绝错误重现。
• 在容器内部执行host c2、host c1或host <service>时，总是返回两个IP地址。一个与docker network inspect slurm-stack_default中containers部分的记录一致，另一个比其小1（如10.0.38.12和10.0.38.11）。容器内执行ip addr得到的IP与docker network inspect中的记录匹配。

配置文件 #

系统所有配置文件如下：

• Dockerfile
• docker-compose.yml
• slurm.conf
• slurmdb.conf
• install_slurm.sh
• docker-entrypoint.sh

我通过docker stack deploy -c docker-compose.yml slurm-stack启动系统。

示例日志 #

以下是作业无法稳定完成时的代表性日志：作业2（运行在c2）和作业3（运行在c1）未正常完成，作业1（运行在c1）正常完成。

• slurmctld日志
• slurmdbd日志
• c1日志
• c2日志
• mysql日志

软件版本信息 #

Slurm版本 #

$ sinfo -V
slurm-wlm 21.08.5

Docker版本 #

$ docker version
Client:
 Version:           20.10.12
 API version:       1.41
 Go version:        go1.17.3
 Git commit:        20.10.12-0ubuntu4
 Built:             Mon Mar  7 17:10:06 2022
 OS/Arch:           linux/amd64
 Context:           default
 Experimental:      true

Server: Docker Engine - Community
 Engine:
  Version:          20.10.22
  API version:      1.41 (minimum version 1.12)
  Go version:       go1.18.9
  Git commit:       42c8b31
  Built:            Thu Dec 15 22:25:49 2022
  OS/Arch:          linux/amd64
  Experimental:     false
 containerd:
  Version:          1.6.14
  GitCommit:        9ba4b250366a5ddde94bb7c9d1def331423aa323
 runc:
  Version:          1.1.4
  GitCommit:        v1.1.4-0-g5fd4c4d
 docker-init:
  Version:          0.19.0
  GitCommit:        de40ad0

Linux版本 #

$ uname -a
Linux slurmctld 5.15.0-76-generic #83-Ubuntu SMP Thu Jun 15 19:16:32 UTC 2023 x86_64 x86_64 x86_64 GNU/Linux

编辑：为进一步排查，我在全新云实例上重新构建了系统，使用最新版Docker（24.0.5）和内核（5.15.0-78），问题依旧存在。

内容的提问来源于stack exchange，提问作者MemoryWrangler