Fortran HPC中MPI、MKL与OpenMP混合并行的工作负载分配问题

核心结论 #

直接用mpirun -np 8 program无法保证每个MPI进程独占一个节点，需要额外配置才能实现你想要的「8个进程各占一个节点，每个进程可调用所在节点32核供MKL/OpenMP使用」的效果。

具体配置说明 #

• 集群调度器场景（如Slurm）：
  主流HPC集群依赖Slurm这类调度器管理资源，必须通过调度参数明确节点分配规则。比如提交作业时需添加--nodes=8 --ntasks-per-node=1，再配合mpirun（或直接用srun），才能强制8个MPI进程分别运行在8个不同节点上。
• 无调度器的自建集群：
  需通过MPI实现的参数控制进程映射逻辑，比如OpenMPI可使用mpirun -np 8 --map-by node program，或者提前编写hostfile文件指定每个节点仅运行一个进程，再通过mpirun -np 8 --hostfile hostfile program启动程序。

MKL/OpenMP的核利用 #

当每个MPI进程成功绑定到独立节点后：

• 若未手动设置OMP_NUM_THREADS，MKL和OpenMP通常会自动识别节点的32核资源，让每个MPI进程的线程占满所在节点的CPU。
• 更稳妥的方式是手动设置环境变量export OMP_NUM_THREADS=32，避免MPI进程与OpenMP线程之间的资源竞争，确保每个节点的32核被充分利用。

注意事项 #

• 若不做额外配置，MPI可能将多个进程分配到同一节点，导致不同MPI进程的MKL/OpenMP线程争抢CPU资源，严重降低程序性能。
• 编译时需同时开启MPI、OpenMP和MKL支持，Fortran编译命令示例：mpif90 -fopenmp -mkl program.f90

内容的提问来源于stack exchange，提问作者Jasper