关于mpirun中MPI进程多核心分配及剩余核心利用的技术咨询

问题1：160核环境跑64个MPI进程时，剩余核心能否高效利用？ #

默认情况下，单个MPI进程是单线程执行的，每个进程只会占用1个物理核心。这种情况下，64个MPI进程最多只用到64个核心，剩下的96个核心会处于闲置状态，无法被现有进程利用，整体资源利用率会很低。

如果你的MPI程序本身支持多线程（比如结合了OpenMP等线程并行框架），那么每个MPI进程可以启动多个线程，这些线程可以利用分配给该进程的多个核心，此时剩余核心才有可能被高效利用——但前提是你要正确配置线程数和核心绑定策略。

问题2：如何为每个MPI进程分配多个核心且不超过64个进程上限？ #

针对OpenMPI（你使用的prterun是OpenMPI的启动器），可以通过核心绑定和映射选项，结合线程环境变量来实现，以下是具体操作：

• 先确认程序是否支持多线程：
  如果你的代码是纯MPI单线程程序，需要先修改代码引入多线程并行（比如OpenMP），否则即使分配多个核心，进程也只会用1个核心，剩下的核心还是闲置。

• 配置核心绑定与映射：
  使用mpirun（或prterun）的以下选项来分配核心：

  • --map-by socket:PE=N：按CPU插槽分配进程，每个进程绑定N个核心（PE是Processing Element的缩写）
  • --bind-to core：将进程绑定到指定核心，避免进程在核心间迁移，提升性能
  • 设置环境变量OMP_NUM_THREADS=N：如果用了OpenMP，指定每个MPI进程启动的线程数，通常和分配的核心数一致

  结合你的160核、64进程的场景：
  160 ÷ 64 = 2.5，所以每个进程最多可以绑定2个核心（64×2=128，剩余32核可以留作系统开销）。

  示例命令：

  OMP_NUM_THREADS=2 mpirun -n 64 --map-by socket:PE=2 --bind-to core ./your_mpi_program
  

  这条命令会启动64个MPI进程，每个进程绑定2个核心，同时每个进程启动2个OpenMP线程，刚好利用128个核心，剩余核心留给系统。

  如果你的程序不需要OpenMP，只是想让MPI进程独占多个核心（比如进程本身有内部多线程逻辑），可以去掉OMP_NUM_THREADS，只使用核心绑定选项：

  mpirun -n 64 --map-by socket:PE=2 --bind-to core ./your_mpi_program
  

• 验证核心分配：
  可以在程序中加入代码查看当前进程绑定的核心，或者使用lstopo工具查看核心使用情况，确认分配是否生效。

内容的提问来源于stack exchange，提问作者Gabriel Lucas