SLURM环境下R中可用核心数不符问题及资源查询咨询

当前资源使用现状 #

你的SLURM脚本申请了18个任务×8核=144核的资源，但目前R仅能使用单个任务分配的8核资源，没有用到全部144核，原因如下：

• detectCores()返回的32是当前节点的物理核心总数，和SLURM分配的资源无关；
• parallelly::availableCores()返回的8是SLURM分配给单个任务的核心数，这是RStudio进程默认能获取到的资源上限——因为你直接启动rserver时，它只会绑定到单个SLURM任务的环境中，剩余17个任务的资源并未被利用。

遗漏的关键设置 #

1. SLURM配置逻辑混淆：
   --ntasks=18是用于MPI类分布式并行的任务数配置，但RStudio默认是单进程运行，无法自动调度多任务资源。如果你的目标是单节点多核心并行，应该将配置改为：

   #SBATCH --ntasks=1
   #SBATCH --cpus-per-task=144
   #SBATCH --mem-per-cpu=7gb
   

   若需要多节点分布式并行，则需结合MPI或SLURM批量作业工具启动R。

2. R并行后端未适配SLURM：
   默认的doParallel仅支持单节点多线程，无法利用多任务/多节点资源，需要使用适配SLURM的并行后端（如doMPI、future.batchtools）。

R中检查SLURM分配资源的方法 #

直接读取SLURM环境变量是最准确的方式，也可以用工具包简化操作：

1. 读取SLURM环境变量 #

# 单个任务分配的核心数
Sys.getenv("SLURM_CPUS_PER_TASK")
# 总任务数
Sys.getenv("SLURM_NTASKS")
# 每个核心分配的内存
Sys.getenv("SLURM_MEM_PER_CPU")
# 分配的节点列表
Sys.getenv("SLURM_JOB_NODELIST")
# 总分配内存计算
as.numeric(Sys.getenv("SLURM_CPUS_PER_TASK")) * as.numeric(Sys.getenv("SLURM_NTASKS")) * 7

2. 用工具包快速获取 #

• parallelly::availableCores()：返回当前任务可用的核心数（SLURM分配值）
• future::availableCores()：和上述工具包逻辑一致，支持多种调度器适配

正确利用144核资源的配置方案 #

方案1：单节点多核心并行 #

调整SLURM脚本为单任务+144核，然后在R中注册多线程集群：

#!/bin/bash
#SBATCH --job-name=rstudio_single_node
#SBATCH --output=a.log
#SBATCH --ntasks=1
#SBATCH --cpus-per-task=144
#SBATCH --mem-per-cpu=7gb

date;hostname;pwd
module load R/4.2
rserver

在R中配置并行：

library(doParallel)
# 根据SLURM分配的核心数创建集群
cl <- makeCluster(as.integer(Sys.getenv("SLURM_CPUS_PER_TASK")))
registerDoParallel(cl)
# 验证可用核心数
getDoParWorkers()

方案2：多节点分布式并行 #

使用future.batchtools适配SLURM批量任务：

1. SLURM脚本保持原--ntasks=18 --cpus-per-task=8配置
2. 在R中配置并行后端：

library(future)
library(future.batchtools)
# 绑定SLURM调度器
plan(batchtools_slurm)
# 测试并行任务
future_lapply(1:18, function(x) {
  # 每个任务使用8核
  options(mc.cores = as.integer(Sys.getenv("SLURM_CPUS_PER_TASK")))
  # 你的计算逻辑
})

内容的提问来源于stack exchange，提问作者Matthew Son