MPI任务中查询节点可用处理器数及Open MPI程序资源分配问题

针对你遇到的问题——用Open MPI + Slurm调度时，std::thread::hardware_concurrency()只能返回节点总硬件线程数，无法拿到当前MPI进程实际被分配的可用核心数，这里有几个实用的解决方案：

1. 直接读取Slurm调度器的环境变量 #

Slurm会在任务启动时自动设置一系列环境变量，直接读取这些变量就能快速获取分配信息：

• SLURM_CPUS_PER_TASK：如果提交作业时指定了--cpus-per-task参数（比如srun --ntasks=4 --cpus-per-task=6），这个变量会直接返回每个MPI进程被分配的核心数。
• SLURM_JOB_CPUS_PER_NODE：当前节点为整个作业分配的总核心数，格式可能是24（单节点）或12(x2)（双节点各12核），需要提取数字部分使用。
• SLURM_NTASKS_PER_NODE：当前节点上运行的本作业MPI进程总数。

如果没指定--cpus-per-task，可以用SLURM_JOB_CPUS_PER_NODE除以SLURM_NTASKS_PER_NODE得到每个进程的平均可用核心数。

C++读取示例代码：

#include <cstdlib>
#include <string>
#include <iostream>

int get_allocated_cpus() {
    // 优先读取SLURM_CPUS_PER_TASK
    const char* cpus_per_task = std::getenv("SLURM_CPUS_PER_TASK");
    if (cpus_per_task) {
        return std::stoi(cpus_per_task);
    }

    // 若未设置，计算节点总分配核心数除以节点内进程数
    const char* job_cpus = std::getenv("SLURM_JOB_CPUS_PER_NODE");
    const char* ntasks_per_node = std::getenv("SLURM_NTASKS_PER_NODE");
    if (job_cpus && ntasks_per_node) {
        std::string cpus_str(job_cpus);
        size_t x_pos = cpus_str.find('x');
        if (x_pos != std::string::npos) {
            cpus_str = cpus_str.substr(0, x_pos);
        }
        int total_cpus = std::stoi(cpus_str);
        int node_tasks = std::stoi(ntasks_per_node);
        return total_cpus / node_tasks;
    }

    // 无法获取Slurm信息时， fallback到节点总线程数
    return std::thread::hardware_concurrency();
}

2. 用hwloc库查询进程绑定的核心集合 #

Open MPI依赖hwloc库管理硬件拓扑和进程绑定，通过hwloc可以直接获取当前进程被绑定的CPU掩码，统计掩码中的核心数就是实际可用的核心数——这个方法不依赖Slurm，适配任何支持进程绑定的调度器。

C++示例代码：

#include <hwloc.h>
#include <iostream>

int get_bound_cpus_count() {
    hwloc_topology_t topology;
    hwloc_topology_init(&topology);
    hwloc_topology_load(topology); // 加载当前节点的硬件拓扑

    hwloc_cpuset_t cpuset = hwloc_bitmap_alloc();
    // 获取当前线程的CPU绑定集合
    hwloc_get_cpubind(topology, cpuset, HWLOC_CPUBIND_THREAD);

    int core_count = hwloc_bitmap_weight(cpuset); // 统计掩码中的核心数量

    // 释放资源
    hwloc_bitmap_free(cpuset);
    hwloc_topology_destroy(topology);

    return core_count;
}

编译时需要链接hwloc库：mpicxx your_program.cpp -lhwloc

3. 判断节点是否有其他任务运行 #

如果你只是想确认当前节点是否同时运行其他作业进程，可以试试这些方法：

• 检查Slurm环境变量：如果SLURM_NTASKS_PER_NODE大于1，说明同一个节点上有多个本作业的MPI进程；如果想知道是否有其他作业的进程，可以在程序中用system()或popen()执行squeue -w $(hostname)命令，查看当前节点的所有作业。
• 读取系统负载：用getloadavg()函数读取系统1/5/15分钟负载，对比节点总核心数判断是否繁忙：

  #include <cstdio>
  #include <iostream>
  
  bool is_node_under_load() {
      double loadavg[3];
      if (getloadavg(loadavg, 3) == -1) {
          perror("Failed to get load average");
          return false;
      }
      // 假设节点总核心数为24，1分钟负载超过20则认为繁忙
      return loadavg[0] > 20.0;
  }
  

内容的提问来源于stack exchange，提问作者willem