MPI_Irecv与MPI_Testall执行失败的原因排查

问题背景 #

此前单独收发自定义MPI结构体fvm::F时运行正常，但MPI成为性能瓶颈，遂尝试批量收发。最初使用MPI_Send/Recv批量发送，因MPI_Send存在转为非阻塞的大小限制导致程序挂起，切换为全非阻塞的MPI_Isend/MPI_Irecv后，出现MPI_Testall的flag始终未置位、数据接收失败的问题。

代码片段 #

map<int, vector<fvm::F>> borders_recv; // {local rank: [structs...]}
map<int, vector<fvm::F*>> borders_send; // {local rank: [struct pointers...]}


// ... values are filled ...


map<int, vector<fvm::F>> borders_send_buffer; // {local rank: [structs...]}
vector<MPI_Request> reqs;


MPI_Barrier(COMM_ITER);
        
cerr << "transferring " << r << endl;

for(auto& b : borders_send){
    
    // b.first is the rank to send data to
    // b.second is a vector of fvm::F* (Need to copy these structs into an actual struct array for MPI_Isend)
    
    int cc = b.second.size();
    
    // initialize map and vector size
    borders_send_buffer[b.first];
    if(borders_send_buffer[b.first].size() == 0){
        borders_send_buffer[b.first].resize(cc);
    }


    // fill send buffer with correct structs
    for(int i = 0; i < cc; i++){
        borders_send_buffer[b.first][i] = *b.second[i];
    }


    MPI_Isend(borders_send_buffer[b.first].data(), cc, STRUCT_FACE, b.first, b.first, COMM_ITER, &req_b);

    cerr << "sending " << r << " -> " << b.first << " (" << cc << ")" << endl;

}

MPI_Barrier(COMM_ITER);


if(reqs.size() == 0){
    reqs.resize(borders_recv.size());
}
        

int n = 0;
for(auto& b : borders_recv){

     MPI_Irecv(b.second.data(), b.second.size(), STRUCT_FACE, b.first, b.first, COMM_ITER, &reqs[n++]);

     cerr << "recving " << r << " <- " << b.first << " (" << b.second.size() << ")" << endl;
}

int flag = 0;

while(true){
    MPI_Testall(reqs.size(), reqs.data(), &flag, MPI_STATUSES_IGNORE);
    if(flag){
        break;
    }
}

MPI_Barrier(COMM_ITER);

双进程输出 #

transferring 0
sending 0 -> 1 (673)
recving 0 <- 1 (767)
transferring 1
sending 1 -> 0 (767)
recving 1 <- 0 (673)

原因分析 #

• 请求集合不完整：调用MPI_Isend生成的发送请求req_b从未被添加到reqs向量中。MPI_Testall仅跟踪接收请求，但非阻塞发送需要匹配的接收操作才能完成，发送未完成会阻塞通信链路，导致接收操作也无法结束，最终MPI_Testall永远无法等到所有请求完成。
• 不必要的屏障引发死锁：发送操作后、接收操作前的MPI_Barrier要求所有进程同步，但非阻塞发送并未实际完成，进程会卡在屏障等待阶段，后续接收操作无法启动，形成循环等待。
• 标签冲突隐患：发送和接收使用的标签是目标/源rank，双进程场景下无问题，但多进程环境中可能出现标签冲突，不过这不是当前挂起的核心原因。

修复建议 #

1. 跟踪所有非阻塞请求：将MPI_Isend生成的req_b添加到reqs向量中，确保MPI_Testall监控所有发送和接收操作：

   MPI_Request req_b;
   MPI_Isend(..., &req_b);
   reqs.push_back(req_b);
   

2. 移除不必要的屏障：删除发送后、接收前的MPI_Barrier(COMM_ITER)，让非阻塞发送和接收可以重叠执行，符合非阻塞通信的设计逻辑。
3. 验证自定义MPI类型：确认STRUCT_FACE的类型定义与fvm::F的内存布局完全匹配（此前单结构体收发正常，这部分大概率无问题，但需确保批量发送时类型仍有效）。

内容的提问来源于stack exchange，提问作者alvrm