如何用Promise等待Worker Threads执行完成？Node.js多线程处理大文件遇阻求助

嗨，我看了你的代码，发现几个关键问题导致Worker线程没法被Promise正确等待，咱们一步步来修复：

你的代码里的核心问题： #

• 初始化Promise的方式错误：new Promise()必须传入带resolve/reject参数的executor函数，否则这个Promise永远不会被决议
• 没有处理Worker的error事件：一旦Worker抛出错误，主线程的Promise会处于pending状态，导致脚本挂起或提前结束
• Worker线程无法直接访问主线程的files变量：Worker是独立的执行上下文，得通过process.argv获取传入的文件路径
• 没有引入fs模块：Worker里用fs.readFileSync但没require，会直接报错

修正后的完整代码 #

const { Worker, isMainThread, parentPort } = require('worker_threads');
const fs = require('fs'); // Worker线程也需要引入fs

const main = async () => {
  const files = process.argv.slice(2);
  if (files.length === 0) {
    console.log('请传入要处理的文件路径');
    return 1;
  }

  // 为每个文件创建一个Worker，并封装成Promise
  const workerPromises = files.map(file => {
    return new Promise((resolve, reject) => {
      const worker = new Worker(__filename, { argv: [file] });

      // 监听Worker完成消息
      worker.on('message', (result) => {
        resolve({ file, threadId: worker.threadId, result });
      });

      // 监听Worker错误
      worker.on('error', (err) => {
        reject(new Error(`处理文件 ${file} 出错: ${err.message}`));
      });

      // 监听Worker退出，避免意外退出导致Promise pending
      worker.on('exit', (code) => {
        if (code !== 0) {
          reject(new Error(`Worker线程 ${worker.threadId} 意外退出，退出码: ${code}`));
        }
      });
    });
  });

  try {
    // 等待所有Worker完成
    const results = await Promise.all(workerPromises);
    console.log('所有文件处理完成:');
    results.forEach(({ file, threadId }) => {
      console.log(`- 文件 ${file} 由线程 ${threadId} 处理完成`);
    });
    return 0;
  } catch (err) {
    console.error('处理出错:', err.message);
    return 1;
  }
};

if (isMainThread) {
  (async () => {
    const rc = await main();
    process.exit(rc);
  })();
} else {
  // Worker线程逻辑：从argv获取要处理的文件
  const file = process.argv[2];
  if (!file) {
    parentPort.postMessage({ error: '未传入文件路径' });
    process.exit(1);
  }

  try {
    const data = fs.readFileSync(file);
    // ... 这里写你的文件处理和数据库插入逻辑
    parentPort.postMessage({ success: true });
  } catch (err) {
    parentPort.postMessage({ error: err.message });
    process.exit(1);
  }
}

关键改进点说明： #

• 每个Worker对应一个Promise：直接在创建Worker时封装Promise，把resolve/reject和Worker的事件绑定，这样Promise.all能准确跟踪每个Worker的状态
• 完善错误处理：监听error和exit事件，确保任何错误都能触发Promise的reject，避免脚本挂起
• Worker上下文隔离：Worker通过process.argv[2]获取文件路径，而不是直接访问主线程的files变量
• 清晰的结果返回：Worker可以返回更详细的结果（比如处理状态或数据），而不仅仅是'Done'，方便主线程做日志和统计

关于性能的补充说明： #

你提到Worker线程对IO密集型任务帮助有限，这点没错——因为Node.js的IO本身是非阻塞的。但如果你的文件处理包含CPU密集型的解析逻辑（比如大文件的正则匹配、数据转换），或者数据库插入是同步/阻塞式的，Worker线程还是能提升整体吞吐量。如果Worker方案达不到预期，再考虑：

• Child Process：和Worker类似，但进程隔离更彻底，适合资源占用高的任务
• 多进程启动：用shell脚本启动多个Node进程处理不同文件，虽然日志管理麻烦，但能最大化利用多核CPU

内容来源于stack exchange