如何在多主机Docker容器中跨节点执行mpirun命令及配置疑问

环境说明 #

• N台主机，每台均部署有相同的支持MPI（OpenMPI）的Docker镜像；
• 每台主机仅包含一个该镜像。

目标 #

从某台主机的Docker容器内，执行一个包含mpirun调用（通过subprocess.run）的Python脚本，使进程在其他所有主机的Docker容器内运行。例如3台主机时，从第一台主机的容器启动脚本，该容器的hostfile包含另外两台主机的IP地址。

问题 #

1. 如何确保mpirun命令确实在其余主机的Docker容器内执行？
2. 使用Docker Swarm结合overlay网络是否为合适方案，具体如何实施？
3. 发起容器的hostfile内应填写其他主机的IP还是overlay网络的地址？

解答 #

问题1：确保mpirun在目标容器内执行 #

• 配置容器间SSH免密登录：每台主机的容器都要开启SSH服务，把发起容器的公钥添加到其他所有容器的~/.ssh/authorized_keys里。OpenMPI默认通过SSH连接远程节点，这样就能直接登录到目标容器内执行命令，不会跑到宿主机上。
• 指定容器内MPI程序路径：在mpirun命令里明确写容器内的MPI可执行文件路径，比如mpirun --hostfile hostfile /opt/mpi/bin/your-app，避免误执行宿主机上的MPI程序。
• 验证执行节点：在你的Python脚本里加一段代码，输出当前节点的容器ID或hostname，比如用os.popen("cat /proc/1/cgroup | grep docker | tail -1 | awk -F/ '{print $NF}'").read().strip()获取容器ID，运行后检查输出就能确认进程是不是在容器里。

问题2：Docker Swarm + Overlay网络是合适方案，实施步骤如下 #

• 初始化Swarm集群：挑一台主机执行docker swarm init，跟着输出提示在其他主机上运行docker swarm join命令，把所有主机都加入集群。
• 创建Overlay网络：执行docker network create --driver overlay --attachable mpi-cluster-net，--attachable参数允许手动启动的容器也能加入这个网络，保证跨主机容器能互相通信。
• 部署MPI节点容器：
  • 全局服务部署（推荐）：运行docker service create --name mpi-worker --network mpi-cluster-net --mode global your-mpi-image，--mode global会自动在每台Swarm节点上启动一个容器。
  • 手动启动容器：在每台主机上执行docker run -d --name mpi-worker --network mpi-cluster-net your-mpi-image。
• 配置MPI节点列表：Swarm的Overlay网络自带DNS解析，所有mpi-worker容器可以通过服务名互相访问。你可以写个简单脚本，用docker service inspect mpi-worker获取所有容器的Overlay IP，自动生成hostfile；或者直接用服务名作为mpirun的目标，比如mpirun --host mpi-worker python your-script.py（OpenMPI支持DNS批量解析节点）。
• 发起MPI任务：进入发起容器，生成hostfile或者直接用服务名，执行mpirun --hostfile hostfile python your-script.py即可。

问题3：hostfile应填写Overlay网络的地址 #

• 宿主机IP对应的是宿主机本身，用它的话mpirun会尝试连接宿主机的SSH服务，除非你把容器的22端口映射到宿主机，但这样既不安全还容易端口冲突。
• Overlay网络是容器之间的专用通信网络，用容器的Overlay IP，mpirun通过SSH直接连到目标容器内部，确保命令在容器里执行。另外，用Swarm服务的DNS名称（比如mpi-worker）更方便，不需要手动维护hostfile，OpenMPI会自动解析所有对应的容器IP。

内容的提问来源于stack exchange，提问作者KingUnique