qsub批量作业内存参数设置后节点作业数异常问题咨询

安全阿岳

2026-8-19

集群作业内存调度问题排查与解决

核心误区：`h_vmem`的作用边界

h_vmem是单slot的内存上限，SGE调度器只会检查单个作业是否超过这个限制，不会自动计算节点上所有作业的内存总和。你设置h_vmem=28G，只是确保每个作业最多用28G，但调度器默认会填满节点的4个slot（因为slot数是集群配置的节点容量），完全不会管4*28=112G刚好卡节点内存上限——而你的作业实际峰值是42G，这就直接超了。

正确的参数配置方案

要让调度器按节点总内存来分配作业，有两种靠谱的方式：

方式1：强制限制节点作业数

提交作业时指定每个作业占1个slot，同时用队列配置限制单节点最大作业数：
脚本里加：
```
#$ -pe smp 1
#$ -l h_vmem=42G
```
联系集群管理员修改队列的max_jobs_per_node=2（或有权限时用qconf -mq <queue_name>自行修改），这样每个节点最多跑2个作业，总内存控制在84G以内。

方式2：基于内存需求调度

用mem_total参数让调度器按作业内存需求分配节点：
脚本里加：
```
#$ -l mem_total=42G
#$ -pe smp 1
```
mem_total会告知调度器每个作业需要42G节点内存，调度器会自动计算节点剩余内存，只有当节点能放下至少42G时才会调度作业，112G的节点最多能跑2个作业（112/42≈2）。

额外排查点

确认h_vmem是否生效：用qacct -j <job_id>查看h_vmem字段，确认是你设置的28G。如果生效，问题就是调度器未管控总内存。
检查节点slot配置：用qhost查看节点的slots数，确认是否为4。如果是，调度器默认会填满slot，无视内存总和。
核实作业实际内存峰值：用qacct -j <job_id>查看maxvmem字段，确认是否真为42G。如果实际峰值更高，即使限制28G，作业会被OOM kill，但调度器仍会继续塞作业。