MPI+OpenMP与纯OpenMP矩阵乘法代码的性能对比疑问

结论先行 #

MPI+OpenMP 混合并行的性能完全不是一定优于纯OpenMP，你实测得到的结果属于非常正常的情况，二者的性能表现完全取决于适用场景。

小规模场景（矩阵规模500）下混合并行性能更差的原因 #

• MPI 存在固定的基础开销：进程初始化、进程间通信、数据分片/分发/合并的成本和计算规模相关性极低，属于每次运行都要付出的固定成本。500x500矩阵乘法的整体计算量很小，此时MPI的固定开销占比会被大幅放大，甚至抵消多进程带来的算力提升。
• 混合并行存在额外调度损耗：每个MPI进程内部的OpenMP线程调度、多进程对节点共享缓存、内存带宽的资源竞争，都会在小规模计算时进一步拉低性能。而纯OpenMP属于共享内存并行模型，没有跨进程通信开销，线程调度成本极低，当全量数据都能放入节点内存甚至CPU缓存时，性能自然优于混合并行版本。

大规模场景（矩阵规模1000）下混合并行表现更好的原因 #

你遇到的纯OpenMP版本无法正常输出的问题，本质是纯OpenMP的模型限制导致的：纯OpenMP只能在单进程的共享内存空间内运行，无法突破单节点的内存、算力上限。当矩阵规模增长到单进程无法申请足够内存、或者单节点算力无法承载计算量时，纯OpenMP自然会出现运行失败、无法输出结果的问题。而MPI+OpenMP可以将矩阵数据拆分到多个进程、甚至多个节点上运行，天然突破了单节点的硬件限制，因此可以正常完成大规模计算任务。

二者适用边界 #

• 纯OpenMP更适合计算规模不超过单节点硬件上限的场景，实现简单、无额外通信开销，性能表现更优。
• MPI+OpenMP更适合超大规模、需要跨多节点分布式运行的场景，虽然存在固定开销，但可以拿到纯OpenMP不可能实现的扩展性，支撑纯OpenMP无法处理的计算任务。

内容的提问来源于stack exchange，提问作者Navdeep Singh