Node.js应用循环运行Worker文件报错问题排查

问题原因 #

这个错误是因为onnxruntime-node的原生绑定模块（.node文件）无法被多个Worker进程重复注册加载。首次运行Worker时模块能正常初始化，但循环创建新Worker或触发第二次请求时，模块尝试再次注册就会触发报错。

解决方案 #

方案1：复用Worker进程（Worker池） #

不要每次循环都新建Worker，提前创建一批Worker复用，避免重复加载原生模块。示例代码：

// 提前创建Worker池
const workerPool = [];
const poolSize = 3; // 根据业务需求设置池大小

// 初始化Worker池
for (let i = 0; i < poolSize; i++) {
  const worker = new Worker("../server/workers/create.js");
  workerPool.push(worker);
}

// 循环任务时从池里取Worker
let currentWorkerIndex = 0;
async function runTask(listToSend) {
  return new Promise((resolve, reject) => {
    const worker = workerPool[currentWorkerIndex];
    currentWorkerIndex = (currentWorkerIndex + 1) % workerPool.length;
    
    // 一次性绑定监听，避免内存泄漏
    const onMessage = (data) => {
      worker.removeListener("message", onMessage);
      worker.removeListener("error", onError);
      resolve(data);
    };
    const onError = (err) => {
      worker.removeListener("message", onMessage);
      worker.removeListener("error", onError);
      reject(err);
    };
    
    worker.on("message", onMessage);
    worker.on("error", onError);
    worker.postMessage({ MessageList: listToSend });
  });
}

// 循环调用示例
for (const list of lists) {
  const data = await runTask(list);
  // 处理返回结果
}

方案2：在Worker内部确保模块只加载一次 #

修改Worker文件（create.js），用单例模式加载onnxruntime-node，避免每次收到消息都重新加载：

// create.js
const { parentPort } = require("worker_threads");
let onnxRuntime = null;

// 仅在Worker初始化时加载一次模块
async function initOnnxRuntime() {
  if (!onnxRuntime) {
    onnxRuntime = require("onnxruntime-node");
    // 此处可添加模型加载等初始化操作
  }
}

// 处理父进程发来的消息
parentPort.on("message", async (data) => {
  await initOnnxRuntime();
  // 用onnxRuntime处理业务逻辑
  // ...具体处理代码...
  parentPort.postMessage(处理完成的结果);
});

// 首次初始化
initOnnxRuntime();

方案3：检查版本兼容性并重装依赖 #

确认Node.js版本与onnxruntime-node版本匹配（比如NAPI版本对应），尝试重新安装依赖：

rm -rf node_modules package-lock.json
npm install

内容的提问来源于stack exchange，提问作者Rajesh Kumar