MPI三层嵌套循环并行作业提交报处理器数超许可错误求助
问题排查与修复方案
1. 报错直接原因
srun: error: Unable to create step for job 20258899: More processors requested than permitted 报错的核心是请求的MPI进程数超过了作业分配的CPU核心总数:
你的作业提交脚本中#SBATCH --nodes=2仅申请了2个计算节点,而后续srun --ntasks=1000要求启动1000个MPI进程。普通集群单节点CPU核心数通常为32/64/128核,2节点总核心数远低于1000,因此SLURM拒绝启动任务。
2. 报错修复方法
二选一即可:
- 调高作业申请的节点数:先确认集群单节点可用核心数,比如单节点128核的场景下,跑1000进程至少需要申请8个节点,将
#SBATCH --nodes=2修改为#SBATCH --nodes=8 - 调低MPI进程数:如果资源不足,将
srun的--ntasks参数调整到2节点总核心数以内,比如2个128核节点就改为--ntasks=256
3. 代码逻辑问题
你的MPI并行逻辑存在两处明显缺陷:
3.1 进程维度计算逻辑错误
代码中进程三维映射的计算存在运算符优先级错误:
proc_2nd_dimension_len = (world_size - 1 / (le(1) + le(2))) + 1
Fortran中除法优先级高于减法,1/(le(1)+le(2))是整数除法结果为0,该参数实际计算值为world_size +1,完全不符合预期,需要改为:
proc_2nd_dimension_len = ((world_size - 1) / (le(1) + le(2))) + 1
同时不建议手动计算三维进程映射,直接调用MPI内置的MPI_CART_CREATE创建笛卡尔通信子,逻辑更简洁也更不容易出错。
3.2 内存溢出风险
所有进程都全量分配了尺寸为1000*600*900*3的双精度数组kp,单个数组占用内存约12GB。如果启动1000个进程,总内存需求高达12TB,远超过普通集群节点的内存上限,大概率会触发OOM报错。建议修改为进程仅分配自身负责的分片数据,不要全量分配大数组。
内容的提问来源于stack exchange,提问作者Kieran
相关产品推荐
相关产品推荐

