为何基于Slurm的服务器上R的易并行任务比本地运行慢？

核心问题分析 #

你的本地PC上单核心耗时45秒、16核心耗时6秒，但Slurm集群上单核心和多核心均耗时约1分钟，核心原因大概率是Slurm资源分配未生效，导致并行代码实际以单核心运行，再加上集群节点单核心性能可能弱于本地PC，所以整体耗时更长。

具体问题与修正方案 #

1. Slurm批处理脚本的语法错误 #

你的execute脚本存在参数书写错误，导致Slurm无法识别资源请求：

• 错误写法：#sbatch - -ntasks=16（短横之间有空格，这是致命问题）
• 正确写法：参数前的短横必须是连续的--，注释行规范写法为#SBATCH（大小写不敏感）

修正后的execute脚本：

#!/bin/bash
#SBATCH --ntasks=16
#SBATCH --cpus-per-task=1
#SBATCH --output=/scratch/user/out.txt

Rscript --vanilla Programs/Valid4_parallel_norm.R

2. R脚本的并行配置错误 #

你的R脚本存在变量未定义和硬编码核心数的问题：

• registerDoParallel(cl, cores = ncor)中的ncor未赋值，会导致并行核心数配置失败
• 硬编码cores = 16可能和Slurm实际分配的核心数不匹配，建议从Slurm环境变量动态获取资源

修正后的R脚本并行部分：

# parallel case
library(foreach)
library(doParallel)
# 从Slurm环境变量获取分配的任务数（核心数），本地测试时用默认值16
cores <- as.integer(Sys.getenv("SLURM_NTASKS", default = 16))
cl <- makeCluster(cores, outfile = "") 
registerDoParallel(cl, cores = cores)
begin = Sys.time()
foreach(x = rep(1e7, 80)) %dopar% {
  foo(x)
}
end = Sys.time()
print("Par")
print(end - begin)
stopCluster(cl) # 运行结束后关闭集群释放资源

3. 集群节点性能与负载因素 #

• 集群节点的CPU单核心性能可能低于你的本地PC：比如本地PC是高频消费级CPU，而集群是低频多核服务器CPU，单核心运算速度更慢，这会导致单核心任务耗时比本地更长（1分钟 vs 45秒）
• 集群节点可能存在其他任务抢占资源：可以用squeue或top命令查看节点当前负载，确认是否有其他任务占用CPU资源

验证步骤 #

1. 提交修正后的批处理脚本：sbatch ./execute
2. 查看Slurm输出文件/scratch/user/out.txt，确认并行部分的耗时是否下降
3. 任务运行时，登录到分配的节点（用squeue查看节点名），执行htop命令，检查是否有16个R进程在运行，确认并行是否生效

内容的提问来源于stack exchange，提问作者Mr Frog