MPI_SEND未等待MPI_RECV完成？自制MPI_BARRIER遇顺序问题

首先纠正你对MPI_SEND的核心误解：标准MPI_SEND并不一定会等待接收方完成接收，它的行为取决于消息大小和MPI实现的缓冲机制：

• 如果消息能被MPI内部缓冲区容纳，MPI_SEND会把消息存入缓冲区后立即返回，完全不需要等接收方调用MPI_RECV。
• 只有当消息超过缓冲阈值时，MPI_SEND才会阻塞，直到接收方启动MPI_RECV并完成消息传递。

只有同步发送MPI_SSEND才会严格阻塞，直到接收方彻底完成MPI_RECV操作。

程序I（正常实现屏障）的逻辑合理性 #

假设你的程序I逻辑是：

• 主进程（rank 0）：先接收所有从进程的消息（确认每个从进程都到达屏障点），再向所有从进程发送"允许继续"的消息。
• 从进程（rank >0）：先向主进程发送消息（告知自己已到达屏障点），再等待主进程的允许消息后继续执行。

这种逻辑的核心是双向确认：

1. 主进程必须等所有从进程都发送了"到达信号"，才会发出允许继续的消息。
2. 每个从进程发送信号后，必须等待主进程的全局确认，才能继续执行。
   这就保证了所有进程必须都到达屏障点后，才会继续向下执行，完美实现了屏障的同步效果。

程序II（无法实现屏障）的问题根源 #

假设你的程序II逻辑是：

• 主进程：先向所有从进程发送消息，再接收从进程的消息。
• 从进程：先接收主进程的消息，再向主进程发送消息。

问题出在同步约束的缺失：

• 主进程的MPI_SEND可能因消息被缓冲而立即返回，导致主进程在从进程还未到达屏障点时，就已经完成发送并进入接收阶段。
• 从进程接收消息后，无需等待其他进程，直接发送消息并继续执行后续代码。
  最终，进程之间没有形成"所有进程都到达屏障点后再继续"的强约束，主进程和从进程的执行进度完全脱节，自然无法实现屏障功能。

用MPI_SEND/RECV实现可靠屏障的正确思路 #

要实现可靠的屏障，必须确保所有进程互相确认到达状态，常见方案包括：

• 环形同步：每个进程向相邻进程发送消息，并接收前一个进程的消息，形成环形传递链，只有当所有进程完成收发后，才能继续执行。
• 主从全交换：沿用程序I的逻辑，主进程先收集所有从进程的到达信号，再统一广播允许继续的信号，确保全局同步。
• 若必须用单向收发逻辑，可替换MPI_SEND为MPI_SSEND（同步发送），强制发送方等待接收方完成接收，但这种方式会牺牲部分性能。

内容的提问来源于stack exchange，提问作者Tanish Jain