OpenMPI未利用全部分配核心的技术问题求助

以下是针对你的需求调整后的启动命令及参数解释，解决仅使用部分核心的问题：

推荐命令 #

mpirun --hostfile /path/to/hostfile -np 1 \
  --map-by node:PE=13 \
  --bind-to node \
  -x OMP_NUM_THREADS=2 \
  -x OMP_PROC_BIND=false \
  -x OMP_PLACES=cores \
  /program/to/run

参数详解 #

• --map-by node:PE=13：明确指定每个节点分配13个处理单元（核心），与PBS分配的资源匹配，确保MPI识别到全部可用核心。
• --bind-to node：将单个MPI进程绑定到整个节点的所有13个核心上，让进程的亲和性掩码覆盖全部分配的核心，为OpenMP线程预留完整的资源池。
• -x OMP_NUM_THREADS=2：显式设置并传递OpenMP线程数为2，避免环境变量未正确传递的问题。
• -x OMP_PROC_BIND=false：禁用OpenMP线程的强制绑定，允许线程在MPI进程绑定的全部核心上动态调度，充分利用节点资源。若需要固定线程到不同核心，可改为OMP_PROC_BIND=spread。
• -x OMP_PLACES=cores：指定OpenMP以核心为调度单位，确保线程能识别到节点上的所有13个核心。

备选方案（若上述命令无效） #

如果节点采用NUMA架构，可尝试针对socket调整绑定策略：

mpirun --hostfile /path/to/hostfile -np 1 \
  --map-by socket:PE=13 \
  --bind-to socket \
  -x OMP_NUM_THREADS=2 \
  -x OMP_PROC_BIND=spread \
  -x OMP_PLACES=cores \
  /program/to/run

关键排查点 #

1. 确认$PBS_NODEFILE中的节点核心数与分配的13核一致，可通过cat $PBS_NODEFILE或pbsnodes -l验证。
2. 检查程序是否正确读取OpenMP环境变量，可在程序中添加打印OMP_NUM_THREADS、OMP_PROC_BIND的代码确认参数生效。
3. 使用numactl --hardware查看节点的NUMA布局，确保绑定策略匹配硬件架构。

内容的提问来源于stack exchange，提问作者GRaiolo