OpenMPI在超线程机器执行时CPU绑定异常及额外CPU占用问题咨询

• OpenMPI 2.1.1 orted守护进程调度问题 #

OpenMPI运行时会在每个计算节点启动一个orted守护进程，负责本地MPI进程的通信管控、信号转发、状态同步等工作。你使用的2.1.1版本默认未对orted配置CPU绑定策略，当你通过参数绑定MPI工作进程到指定硬件线程后，操作系统会将无绑定限制的orted调度到剩余的空闲硬件线程上运行。
矩阵乘法属于典型的计算密集型负载，orted仅在处理控制信令时产生少量负载，本身空闲时间占比高，因此单看硬件线程的利用率会维持在50%上下的低水平，和你观测到的现象完全吻合。

• 超线程场景下的独占性差异 #

该现象仅在开启超线程的机器上明显，原因来自超线程的资源共享特性：
你所用的AMD 1950X处理器单物理核对应2个硬件线程，当你绑定2个MPI工作进程到硬件线程时，若调度器将orted放到某个工作进程所在物理核的另一个空闲硬件线程上，两个硬件线程共享物理核的计算资源，因此orted的负载会被统计为对应硬件线程的50%左右占用。而在关闭超线程的机器上，orted会被调度到完全空闲的独立物理核，低负载下仅会产生个位数的利用率，不容易被观测到异常。

• 参数输入错误的潜在影响 #

你提供的启动命令存在参数格式错误：--bind-to hwthread和--use-hwthread-cpus之间缺少空格，OpenMPI 2.1.1的参数解析器可能无法正确识别绑定策略，导致工作进程绑定不完全，进一步加剧调度异常。

• 首先修正启动命令的格式错误，使用正确的命令重试：

mpirun --bind-to hwthread --use-hwthread-cpus -n 2 ...

• 显式指定orted的绑定策略，在启动命令中加入以下参数，将orted绑定到未被工作进程占用的独立硬件线程：

--mca orte_orted_cpus 0

可通过ps -eLo pid,psr,comm | grep orted命令查看orted实际运行的CPU编号，确认是否与异常占用的硬件线程对应。

• 升级OpenMPI到3.0及以上版本，该版本开始已经优化了orted的默认绑定逻辑，默认会避免orted与工作进程共享硬件线程，不会出现该类异常占用问题。

内容的提问来源于stack exchange，提问作者Elephant88