Slurm环境下OpenMP与OpenMPI混合使用的配置求助

原脚本的核心问题 #

• 错误申请了72个MPI任务（-n 72），但实际仅需每个节点1个进程，总共3个，导致资源分配冲突
• 使用mpirun在Slurm集群中适配性差，无法准确获取Slurm的资源分配信息
• 缺少线程绑定配置，可能导致OpenMP线程跨核心调度，降低运行效率

修改后的正确Slurm脚本 #

#!/bin/bash
#SBATCH -N 3                  # 申请3个计算节点
#SBATCH --ntasks-per-node=1   # 每个节点分配1个MPI进程
#SBATCH --cpus-per-task=24    # 每个MPI进程绑定24个核心（供OpenMP线程使用）
#SBATCH -p defq
#SBATCH -A akademik
#SBATCH -o %J.out
#SBATCH -e %J.err
#SBATCH --job-name=MIXED

# 加载所需环境模块
module load slurm
module load shared
module load gcc
module load openmpi

# 配置OpenMP并行参数
export OMP_NUM_THREADS=24
export OMP_PROC_BIND=close    # 将OpenMP线程绑定到相邻核心，提升缓存利用率
export OMP_PLACES=cores       # 按物理核心分配OpenMP线程

# 通过srun启动程序，Slurm自动处理进程与核心的绑定
srun ./program

关键调整说明 #

• --ntasks-per-node=1 + --cpus-per-task=24：精准匹配需求——3个节点各跑1个MPI进程，每个进程用24个核心跑OpenMP循环，替代原脚本中不合理的-n 72
• 替换mpirun为srun：Slurm集群官方推荐用srun启动并行任务，它能自动识别SBATCH参数分配的资源，无需手动指定进程数或节点，避免资源不匹配
• 添加OMP_PROC_BIND和OMP_PLACES：强制OpenMP线程绑定到分配的核心上，防止操作系统乱调度线程，保障并行性能
• 移除mpirun -n 3 --bynode：srun会根据SBATCH参数自动启动3个进程（每个节点1个），手动指定反而容易出错

内容的提问来源于stack exchange，提问作者Furkan Semih Dündar