You need to enable JavaScript to run this app. MPI三层嵌套循环并行作业提交报处理器数超许可错误求助
优惠活动
大模型
产品
解决方案
定价
更多

MPI三层嵌套循环并行作业提交报处理器数超许可错误求助

问题排查与修复方案

1. 报错直接原因

srun: error: Unable to create step for job 20258899: More processors requested than permitted 报错的核心是请求的MPI进程数超过了作业分配的CPU核心总数:
你的作业提交脚本中#SBATCH --nodes=2仅申请了2个计算节点,而后续srun --ntasks=1000要求启动1000个MPI进程。普通集群单节点CPU核心数通常为32/64/128核,2节点总核心数远低于1000,因此SLURM拒绝启动任务。

2. 报错修复方法

二选一即可:

  • 调高作业申请的节点数:先确认集群单节点可用核心数,比如单节点128核的场景下,跑1000进程至少需要申请8个节点,将#SBATCH --nodes=2修改为#SBATCH --nodes=8
  • 调低MPI进程数:如果资源不足,将srun的--ntasks参数调整到2节点总核心数以内,比如2个128核节点就改为--ntasks=256

3. 代码逻辑问题

你的MPI并行逻辑存在两处明显缺陷:

3.1 进程维度计算逻辑错误

代码中进程三维映射的计算存在运算符优先级错误:

proc_2nd_dimension_len = (world_size - 1 / (le(1) + le(2))) + 1

Fortran中除法优先级高于减法,1/(le(1)+le(2))是整数除法结果为0,该参数实际计算值为world_size +1,完全不符合预期,需要改为:

proc_2nd_dimension_len = ((world_size - 1) / (le(1) + le(2))) + 1

同时不建议手动计算三维进程映射,直接调用MPI内置的MPI_CART_CREATE创建笛卡尔通信子,逻辑更简洁也更不容易出错。

3.2 内存溢出风险

所有进程都全量分配了尺寸为1000*600*900*3的双精度数组kp,单个数组占用内存约12GB。如果启动1000个进程,总内存需求高达12TB,远超过普通集群节点的内存上限,大概率会触发OOM报错。建议修改为进程仅分配自身负责的分片数据,不要全量分配大数组。

内容的提问来源于stack exchange,提问作者Kieran

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.20 17:36:07