MPI的send/recv配对超3000进程运行时异常挂起问题咨询

结论 #

你观察到的根进程与其余进程通信子comm数值不一致的问题，就是导致程序3000进程以上场景挂起的直接原因。

原因解释 #

MPI标准明确要求：所有参与同一次点对点通信/集体通信的进程，必须传入完全对等的通信子实例。你当前的场景下，根进程用的是一个通信子，其余进程用的是另一个不相关的通信子，相当于收发双方在完全独立的两个通信域里操作：根进程往自己的通信域发的消息，根本不会被其余进程所在的通信域捕获匹配，mpi_recv调用就会一直阻塞等待匹配的消息，最终表现为程序挂起。

你在小规模进程下没有复现问题，大概率是小规模场景下你的通信子创建逻辑恰好没有触发异常，或者MPI实现的内部容错逻辑恰好兼容了错误，不代表逻辑本身正确。你在Intel MPI和Cray MPI两个主流实现下都能复现，也验证了是业务代码逻辑问题而非MPI实现缺陷。

根因定位与修复建议 #

• 通信子创建类接口（包括MPI_Comm_dup、MPI_Comm_split、MPI_Comm_create等）都是集合操作，必须让目标通信域内的所有进程同时调用，不能将这类调用写在仅非根进程执行的分支里。你需要检查通信子复制的代码段，补全根进程的通信子创建逻辑，确保所有进程拿到的comm值一致。
• 额外检查你代码中mpi_recv的计数参数：你当前非根进程分支里用到的glb_nvert(i)的下标i没有做初始化赋值，属于未定义行为，也可能导致接收数据长度不匹配引发挂起，需要修改为取当前进程对应的glb_nvert下标，比如glb_nvert(myrankid+1)。
• 你当前实现的根进程向所有进程分发数据的逻辑，可以直接替换为MPI_Scatterv集体通信接口，比手动循环调用mpi_send/mpi_recv性能更高，也能避免点对点通信的标签、目标进程匹配错误。

内容的提问来源于stack exchange，提问作者ATK