MPI通信中何时从点到点通信切换为AllToAll通信更高效

你当前的场景下可以直接调用的对应集合接口是MPI_Alltoallv，该接口支持不同进程对之间传输不等长的数据，刚好匹配你「进程i到j和j到i数据量相等、各对数据长度不一致」的需求。满足以下任意几个条件的组合时，切换到MPI_Alltoallv的收益会更高：

• 非空缓冲区占比高于30%：MPI集合通信的底层优化是面向全连接通信场景设计的，如果你的场景里大部分缓冲区都有数据需要传输，MPI_Alltoallv的底层流量调度、拓扑感知优化的收益会远大于处理少量空缓冲区的额外开销。如果非空缓冲区占比不足5%，自定义点对点只需要处理少量通信请求，效率会更高。
• 进程规模超过32核：主流MPI实现（OpenMPI、MPICH、Intel MPI等）的集合通信接口都会针对集群硬件做深度优化，包括胖树拓扑路由优化、多轨网络带宽聚合、RDMA硬件卸载等，这些优化在进程数越多的时候收益越明显。当进程数达到数百、数千规模时，你自己实现的非阻塞发+阻塞收的调度开销会显著上升，而MPI_Alltoallv的扩展性经过工业级验证，优势会非常突出。
• 单条非空消息长度大于1kB：当单条消息达到数百kB量级时，传输带宽、网络链路阻塞的影响占主导，MPI_Alltoallv的实现会自动均衡所有链路的流量，避免出现部分链路拥塞、部分链路空闲的情况，比无调度的自定义点对点通信效率高很多。如果绝大多数非空消息都是只有几字节的小消息，自定义点对点的开销反而更低。
• 业务逻辑本身要求全局同步：MPI_Alltoallv是同步集合接口，要求所有进程同时进入调用、全部完成后才返回。如果你的代码逻辑本身就需要所有进程完成全交换之后才能进入下一步计算，直接调用该接口可以省掉自己额外做同步的开销。如果你的逻辑允许部分进程提前完成通信、提前进入计算阶段，自定义点对点的异步模式灵活度更高。

内容的提问来源于stack exchange，提问作者user3646557