MPI_Isend/MPI_Recv传输大尺寸数据时报段错误问题咨询

你的代码触发段错误是MPI非阻塞通信的典型误用，具体有两个问题：

• 重复使用同一个MPI_Request变量发起两次MPI_Isend：第一次发送coords的请求句柄直接被第二次发送a_small的句柄覆盖，第一次发送的请求永远无法被回收、状态不可控，属于资源泄漏。
• 非阻塞通信未完成就提前释放发送缓冲区：MPI_Isend是非阻塞接口，调用返回不代表数据发送完成，MPI后台可能还在读取你传入的coords、a_small缓冲区的数据。你在发起Isend后没有等待通信结束就直接delete[] a_small回收内存，MPI后续读取已释放的内存空间时就会触发段错误。

你观察到的“小矩阵正常、大矩阵报错、特定核数才触发”的现象完全符合这个错误的特征：

当发送数据量小于MPI实现的默认eager阈值（通常为几十KB到上百KB）时，MPI会在MPI_Isend调用时直接把数据拷贝到内部预留的缓存区，就算你马上释放原缓冲区也不会出错；当数据量超过阈值后，MPI会切换为rendezvous协议，不会提前拷贝数据，等接收方匹配到接收请求时才直接从原发送缓冲区读取数据，这时候原缓冲区已经被释放就会触发内存访问错误。你最小复现样例里100*200的double数组大小为160KB，刚好超过多数OpenMPI/MPICH实现的默认eager阈值，稳定触发问题。

根据你的场景选以下任意一种改法即可：

1. 如果你不需要用非阻塞通信重叠计算和通信，直接把所有MPI_Isend替换为阻塞接口MPI_Send。MPI_Send返回时会保证MPI已经不再访问传入的发送缓冲区，后续释放内存完全安全，代码逻辑最简单不容易出错。
2. 如果你确实需要用非阻塞通信，严格遵守两个规则：
   • 每个非阻塞通信使用独立的MPI_Request变量，不要复用同一个变量存多个请求句柄
   • 在修改、释放发送缓冲区之前，必须调用MPI_Wait/MPI_Waitall等待对应请求完成，确认MPI不再访问缓冲区后再操作内存。

修正后的代码示例 #

最小复现样例修复（阻塞版本，最简单） #

把非阻塞发送换成阻塞发送即可：

// 替换原来的MPI_Isend
MPI_Send(a_small, m_small*m_small2, MPI_DOUBLE, 0, 0, MPI_COMM_WORLD);

if (0 == world_rank) {
    for (int i = 0; i < world_size; i++) {
        MPI_Recv(a_2, m_small*m_small2, MPI_DOUBLE, i, 0, MPI_COMM_WORLD, MPI_STATUSES_IGNORE);
    }
}

// 这里释放内存完全安全
delete[] a_small;

完整代码修复（非阻塞版本） #

两次发送用独立的request，释放内存前等待所有发送完成：

// 省略前面无变化的代码
int loc[2];
int m1_rec, m2_rec;

// 两个发送用两个独立的request
MPI_Request send_reqs[2];
MPI_Isend(coords, 2, MPI_INT, 0, 1, MPI_COMM_WORLD, &send_reqs[0]);  
MPI_Isend(a_small, m_small*m_small2, MPI_DOUBLE, 0, 0, MPI_COMM_WORLD, &send_reqs[1]);

if (0 == world_rank) {
    for (int i = 0; i < world_size; i++) {
        MPI_Recv(loc, 2, MPI_INT, i, 1, MPI_COMM_WORLD, MPI_STATUSES_IGNORE);
        if (0 == loc[0]) {
            m1_rec = int(m / dims[0]) + m % dims[0];
        } else {
            m1_rec = int(m / dims[0]);
        }
        if (0 == loc[1]) {
            m2_rec = int(m / dims[1]) + m % dims[1];
        } else {
            m2_rec = int(m / dims[1]);
        }
        MPI_Recv(a_2, m1_rec * m2_rec, MPI_DOUBLE, i, 0, MPI_COMM_WORLD, MPI_STATUSES_IGNORE);
    }
}

// 等所有发送完成，MPI不再访问coords和a_small之后再释放内存
MPI_Waitall(2, send_reqs, MPI_STATUSES_IGNORE);
delete[] a_small;
// 省略后面无变化的清理代码

内容的提问来源于stack exchange，提问作者ranger