如何通过SLURM集群提交多个独立计算块任务？

我有大量计算块需要在SLURM集群上并行运行。每个计算块从文件读取输入并将输出写入独立文件，块之间无通信，因此无需同时运行。我希望将这些计算块分配到不同节点和CPU上运行。每个计算块仅需一个CPU（单线程），因此单节点可并行运行的计算块数量受节点可用内存限制。

注：我使用“计算块”一词是为了避免与SLURM术语“job（作业）”和“task（任务）”混淆。

我有以下疑问：

• 通过SLURM将这些计算块提交到集群的最佳方式是什么？
• 我认为提交请求多个节点的作业并非良策（即设置--nodes值大于1），这会要求多个节点同时可用，可能增加队列等待时间。如果选择提交多个作业或作业数组，如何在单个节点上运行多个计算块？同一节点能否运行多个作业？
• 如果我将--ntasks设置为所需运行的计算块数量，--ntasks-per-node设置为节点核心数，SLURM会自动将进程分配到不同节点吗？如果是，这些节点是否会被同步请求，从而导致更长的排队时间？
• 据我了解，我可以使用--ntasks和srun在单个节点上多次运行命令（无需使用MPI）。但每个进程如何知晓要计算哪个块？是否存在类似SLURM_ARRAY_TASK_ID的任务环境变量？
• 使用脚本中的shell循环与使用--ntasks有何区别？

最佳提交方式 #

首推作业数组（Job Arrays），这是SLURM专为批量独立任务设计的功能，既能避免多节点同步等待的问题，又能高效利用集群资源，同时简化任务管理。

单节点运行多个计算块的实现 #

• 作业数组模式：
  提交数组时，通过--cpus-per-task=1指定每个计算块占用1个CPU，用--mem-per-cpu设置单个计算块所需的内存（确保单节点能容纳的任务数不超过内存上限）。SLURM会自动将多个数组任务调度到同一空闲节点，只要节点剩余资源满足需求。同一节点完全可以运行多个作业（包括数组任务），集群调度器会根据节点资源使用率自动分配。
• 单作业多任务模式：
  提交一个请求多任务的作业，设置--ntasks为单节点能容纳的最大计算块数，配合srun启动多个进程，也能在单节点并行运行多个计算块，但灵活性不如作业数组。

--ntasks与--ntasks-per-node的调度行为 #

如果设置--ntasks=N（总计算块数）、--ntasks-per-node=K（单节点核心数），SLURM会尝试分配足够的节点（最多N/K个），每个节点运行K个任务。但这种方式属于单作业多任务调度，SLURM会要求所有需要的节点同时空闲才会启动作业，确实会显著增加排队等待时间——因为要等多个节点同时释放资源，这也是为什么不推荐这种方式的原因。

多任务进程的标识变量 #

当用--ntasks配合srun启动多任务时，每个任务会自动获得SLURM_PROCID环境变量，该变量从0开始递增编号。你可以利用这个变量映射到对应的计算块，比如根据SLURM_PROCID的值读取对应的输入文件（如input_${SLURM_PROCID}.txt）。

shell循环与--ntasks的核心区别 #

1. 并行效率：
   • --ntasks配合srun是由SLURM调度的真正多核并行，每个任务分配到独立的CPU核心，能充分利用节点的多核资源。
   • shell循环（即使加&后台运行）是用户空间的伪并行，所有进程共享同一个作业的CPU资源配额，容易出现资源竞争，且无法利用SLURM调度将任务分配到其他节点。
2. 资源管理：
   • --ntasks可以为每个任务明确请求内存、CPU资源（如--mem-per-cpu），SLURM会保证这些资源不被其他任务抢占，避免内存不足的问题。
   • shell循环的所有进程共享作业的总资源，若计算块内存需求较大，容易触发OOM（内存溢出）。
3. 监控与日志：
   • 作业数组或srun多任务可以为每个任务生成独立的日志文件（如slurm-%A_%a.out），方便排查单个计算块的问题。
   • shell循环的日志会混在一起，难以区分不同计算块的输出信息。

内容的提问来源于stack exchange，提问作者lumbric