如何在Node.js中并行调用execFile()执行rad二进制文件？

1. 先揪核心问题：别用同步调用 #

如果你的execRadAsync内部用了execFileSync，那所有调用都是串行阻塞的，这直接导致并行完全失效。必须改用异步的execFile（或更灵活的spawn），同步方法会卡死Node.js事件循环，同一时间只能跑一个子进程。

检查你的异步调用实现，必须是纯异步的：

const { execFile } = require('child_process');
const util = require('util');
const execFileAsync = util.promisify(execFile);

async function execRadAsync(args) {
  // 绝对不能用execFileSync！
  const { stdout, stderr } = await execFileAsync('rad', args, {
    stdio: ['ignore', 'pipe', 'pipe'], // 减少不必要的IO开销
    encoding: 'utf8'
  });
  if (stderr) throw new Error(`rad执行出错：${stderr}`);
  return JSON.parse(stdout); // 假设rad输出JSON格式
}

2. 实现带CPU核心数限制的并发池 #

直接用Promise.all一次性启动几百上千个子进程会触发系统资源竞争，反而变慢。必须把并发数限制在CPU核心数以内，用os.cpus().length获取当前机器核心数。

手动实现轻量并发池：

const os = require('os');
const MAX_CONCURRENCY = os.cpus().length;

async function resolveConcurrently(patchIds, taskFn) {
  const results = [];
  const executingTasks = [];

  for (const id of patchIds) {
    // 启动当前任务
    const taskPromise = taskFn(id)
      .then(result => {
        // 任务完成后从执行队列移除
        const idx = executingTasks.indexOf(taskPromise);
        if (idx !== -1) executingTasks.splice(idx, 1);
        return result;
      })
      .catch(err => {
        console.error(`获取Patch ${id}失败：`, err);
        return { id, error: err.message };
      });
    
    results.push(taskPromise);
    executingTasks.push(taskPromise);

    // 达到并发上限时，等待任意一个任务完成再继续
    if (executingTasks.length >= MAX_CONCURRENCY) {
      await Promise.race(executingTasks);
    }
  }

  // 等待剩余所有任务完成
  await Promise.all(executingTasks);
  return results;
}

3. 优化子进程启动参数 #

• 确保不用shell：你用execFile而非exec是对的，execFile直接启动二进制，不会创建shell，性能更优，别加shell: true参数。
• 精简IO配置：用stdio: ['ignore', 'pipe', 'pipe']只捕获必要的输出，避免继承父进程IO带来的额外开销。

4. 验证并行是否真的生效 #

在任务函数里加日志，看是否有多个任务同时启动：

async function fetchPatch(id) {
  console.log(`[${Date.now()}] 开始获取Patch ${id}`);
  const patch = await execRadAsync(['patch', 'show', id]);
  console.log(`[${Date.now()}] 完成获取Patch ${id}`);
  return patch;
}

如果日志里短时间内出现多个“开始获取”，说明并行已经生效。

最终调用示例 #

async function main() {
  // 第一步：获取所有Patch ID
  const patchList = await execRadAsync(['patch', 'list', '--json']);
  const patchIds = patchList.map(item => item.id);

  // 第二步：并发获取每个Patch详情
  const patches = await resolveConcurrently(patchIds, fetchPatch);
  
  console.log(`共获取到${patches.length}个Patch`);
}

main().catch(err => console.error('主流程出错：', err));

内容的提问来源于stack exchange，提问作者maninak