多进程Node.js应用如何预留1个空闲核心？无需调整进程数

背景 #

我有一个执行CPU密集型任务的多进程Node.js应用，使用child_process模块创建子进程，执行逻辑为：
主循环 → 生成Master Worker → Master Worker生成最多N个工作进程 → N个工作进程执行任务 → Master Worker收集结果 → 反馈给主循环。
其中N远大于CPU核心数（例如N=100、核心数=20），单个工作进程占用20-25%的核心资源，导致CPU长时间100%占用。调整N为核心数-1会限制吞吐量，按倍数设置N也因机器其他任务存在而不够理想，希望无需调整工作进程数量，保留1个核心完全空闲，避免拖垮机器。

可行方案 #

1. 绑定工作进程到指定CPU核心（CPU亲和性） #

直接限制所有工作进程只能使用除目标空闲核心外的其他核心，从系统层面强制预留出一个核心。

• 实现方式：创建子进程时调用系统taskset命令（Linux），指定允许使用的核心范围。例如机器有20个核心（编号0-19），留核心19空闲，创建子进程的命令为：

taskset -c 0-18 node worker.js

• Node.js代码示例（使用child_process.spawn）：

const { spawn } = require('child_process');
const coreCount = require('os').cpus().length;
const allowedCores = Array.from({length: coreCount - 1}, (_, i) => i).join(','); // 排除最后一个核心

const worker = spawn('taskset', ['-c', allowedCores, 'node', 'worker.js']);

• 注意：Windows系统可使用start /affinity命令，亲和性参数为十六进制掩码，需自行计算对应核心的掩码值。

2. 降低工作进程的CPU优先级 #

通过调整工作进程的nice值，降低其CPU调度优先级，让系统优先保障其他进程（包括系统进程）的CPU资源，间接实现预留核心的效果。

• 实现方式：创建子进程时用nice命令（Linux）调整优先级，例如：

nice -n 10 node worker.js

• Node.js代码示例：

const { spawn } = require('child_process');
const worker = spawn('nice', ['-n', '10', 'node', 'worker.js']);

• 说明：nice值范围为-20（最高优先级）到19（最低优先级），设置为正数即可降低工作进程的调度优先级，当机器有其他任务时，系统会优先分配CPU给高优先级进程，避免CPU被本应用完全占满。

3. 动态监控CPU使用率并调控任务分发 #

在Master Worker中定期监控系统整体CPU使用率，当检测到空闲核心被占用时，暂停新任务的分发，直到CPU使用率回落，无需调整工作进程数量。

• CPU使用率监控代码示例：

const os = require('os');

function getCurrentCPUUsage() {
  const cpus = os.cpus();
  let totalIdle = 0;
  let totalTotal = 0;

  cpus.forEach(cpu => {
    totalIdle += cpu.times.idle;
    for (const type in cpu.times) {
      totalTotal += cpu.times[type];
    }
  });

  return 100 - Math.round((totalIdle / totalTotal) * 100);
}

// 每2秒检查一次
setInterval(() => {
  const usage = getCurrentCPUUsage();
  if (usage >= 95) { // 接近满负载时暂停任务分发
    pauseTaskDistribution();
  } else {
    resumeTaskDistribution();
  }
}, 2000);

• 说明：通过控制任务分发的节奏，避免工作进程同时跑满所有CPU核心，间接留出一个核心的资源空间。

内容的提问来源于stack exchange，提问作者pkExec