Open MPI调用MPI_Comm_spawn启动进程失败问题求助

使用MPI_Comm_spawn启动worker进程时，设置启动N个进程，实际仅能成功启动N-1个，随后主进程崩溃并抛出TCP连接失败警告。报错信息显示Open MPI无法与对等MPI进程建立TCP连接，本地主机为sr530-01，PID为154333，连接指定IP端口失败，错误码115（Operation now in progress）。

主进程代码 #

#include <stdio.h>
#include <stdlib.h>
#include "mpi.h"

int main(int argc, char *argv[]) {
    int rank, size;
    int worker_count = 3;  // 要启动的worker进程数
    MPI_Comm worker_comm;
    int array_of_errcodes[3];  // 存储错误码的数组

    MPI_Init(&argc, &argv);
    MPI_Comm_rank(MPI_COMM_WORLD, &rank);
    MPI_Comm_size(MPI_COMM_WORLD, &size);

    if (rank == 0) {  // 主进程
        printf("Master process is running.\n");

        // 定义worker程序的命令和参数
        const char *worker_program = "./worker";  // worker程序可执行文件路径
        char *worker_argv[] = {"./worker", NULL};  // worker程序的参数
        int maxprocs = worker_count;  // 要启动的worker进程数
        MPI_Info info = MPI_INFO_NULL;  // 无额外信息

        // 启动worker进程
        MPI_Comm_spawn(worker_program, worker_argv, maxprocs, info, 0, MPI_COMM_SELF, &worker_comm, array_of_errcodes);

        // 可选：在此处与worker进程交互

        // 等待所有worker进程完成
        MPI_Barrier(worker_comm);

        // 断开互联通信器
        if (worker_comm != MPI_COMM_NULL) {
            MPI_Comm_disconnect(&worker_comm);
        }

        printf("Master process is done.\n");
    }

    MPI_Finalize();
    return 0;
}

Worker进程代码 #

#include <stdio.h>
#include <stdlib.h>
#include "mpi.h"

int main(int argc, char *argv[]) {
    int rank, size;

    MPI_Init(&argc, &argv);
    MPI_Comm_rank(MPI_COMM_WORLD, &rank);
    MPI_Comm_size(MPI_COMM_WORLD, &size);

    if (rank != 0) {  // Worker进程（rank > 0）
        printf("Worker process %d is running.\n", rank);

        // 执行worker进程需要完成的任务

        printf("Worker process %d is done.\n", rank);
    }

    MPI_Finalize();
    return 0;
}

运行输出（worker_count=2时） #

Master process is running.
Worker process 1 is running.
Worker process 1 is done.
--------------------------------------------------------------------------
WARNING: Open MPI failed to TCP connect to a peer MPI process.  This
should not happen.

Your Open MPI job may now hang or fail.

  Local host: sr530-01
  PID:        154333
  Message:    connect() to 0.0.0.0:1028 failed **fake ip address
  Error:      Operation now in progress (115)

核心问题 #

1. Worker进程的rank逻辑错误：通过MPI_Comm_spawn启动的每个worker进程，其自身的MPI_COMM_WORLD是独立单进程环境，每个worker在自己的MPI_COMM_WORLD中rank始终为0，原代码if (rank != 0)的判断会导致所有worker进程跳过任务执行。
2. 主从进程缺少同步：主进程调用MPI_Barrier(worker_comm)等待worker同步，但worker进程未执行对应的屏障操作，直接退出后导致主进程因等待失效连接而抛出TCP错误。

修复步骤 #

1. 修正Worker进程逻辑：
   通过MPI_Comm_get_parent获取与主进程的互联通信器，确认自身为被spawn的worker进程，并使用该通信器完成同步。

修复后的Worker代码：

#include <stdio.h>
#include <stdlib.h>
#include "mpi.h"

int main(int argc, char *argv[]) {
    int rank;
    MPI_Comm parent_comm;

    MPI_Init(&argc, &argv);
    // 获取父通信器，确认是否为被spawn的worker进程
    MPI_Comm_get_parent(&parent_comm);

    if (parent_comm != MPI_COMM_NULL) {
        // 获取当前worker在互联通信器中的rank
        MPI_Comm_rank(parent_comm, &rank);
        printf("Worker process %d is running.\n", rank);

        // 执行worker任务

        // 与主进程同步
        MPI_Barrier(parent_comm);

        // 断开与父进程的连接
        MPI_Comm_disconnect(&parent_comm);
        printf("Worker process %d is done.\n", rank);
    }

    MPI_Finalize();
    return 0;
}

2. 主进程代码优化：
   确保array_of_errcodes数组大小与worker_count一致，避免数组越界（可改为动态分配数组适配任意worker数量）。

额外排查点 #

• 配置Open MPI网络接口：通过环境变量指定可用网络接口，避免无效地址绑定，例如：

  export OMPI_MCA_btl_tcp_if_include=eth0
  

• 确认worker程序路径正确且具备可执行权限；
• 检查系统防火墙规则，确保未阻止MPI进程间的TCP连接。

内容的提问来源于stack exchange，提问作者Carlo Costa