MPI分布式环境下主进程动态调整OMP线程数的性能问题咨询

该方案存在的核心问题 #

• CPU资源争抢与上下文切换开销
  单节点总物理核心数只有n，你启动了n个MPI进程，默认状态下每个进程都会占用一个核心的调度资源。当主进程临时开启n个OMP线程时，这n个线程需要和其余n-1个处于等待状态的MPI进程争抢核心算力。即便非主进程当前处于MPI调用的阻塞状态，操作系统仍会为其分配时间片，会导致大量上下文切换开销，抵消甚至超过OMP并行带来的收益。
• CPU核心绑定导致的性能衰退
  绝大多数生产集群的MPI作业默认开启CPU核心绑定，每个MPI进程会被固定绑到一个独立的物理核心上。这种情况下主进程开启的所有OMP线程都只能在它绑定的那一个核心上运行，多线程直接变成单核心串行加线程切换开销，性能必然会大幅下降。你本地小测能得到收益，就是因为本地环境默认没有开启MPI核心绑定，主进程的OMP线程可以飘到其他空闲核心上运行。
• 算力资源浪费
  非主进程对应的n-1个核心在主进程计算f(A)的阶段完全处于闲置状态，30%的高并行度逻辑只用到了节点的部分算力，没有最大化硬件利用率。

可行的优化方案 #

• 针对线性代数场景：直接使用ScaLAPACK分布式线性代数库，不需要把分块矩阵gather到主进程，直接基于分布式存储的分块矩阵做并行计算，所有进程全程参与计算，没有资源浪费，也不需要来回传输全量矩阵，是这类场景的最优解。
• 通用场景解决方案：
  1. 关闭MPI核心绑定，同时调整操作系统的进程调度策略，让阻塞状态的MPI进程主动让出CPU资源给主进程的OMP线程，但是这种方式兼容性差，不同集群的调度配置差异很大。
  2. 把f(A)的逻辑也改成MPI并行实现：gather到主进程后，再把全量矩阵A散射到所有进程，多进程并行完成f(A)的计算，最后归约得到结果，全程所有核心都处于工作状态，没有闲置也没有资源争抢，适配所有集群环境。

内容的提问来源于stack exchange，提问作者Amir Hajibabaei