Node.js中非阻塞处理JSON对象数组的实现方案

你的问题核心是同步的大规模数组操作阻塞了Node.js事件循环——arr.map(...)会一次性执行完30万条数据的JSON序列化/反序列化，占满事件循环的整个执行阶段，期间主线程无法处理其他请求，导致/something接口无响应。

当然有办法解决，核心思路是把大的同步任务拆分成多个小任务，或者把CPU密集型任务转移到单独线程，给事件循环留出处理其他请求的间隙。

方案1：分批次异步处理 #

把数组拆分成小批量，每次处理一批后主动让出事件循环，让主线程有机会处理其他请求。

首先写一个分块处理的工具函数：

async function processArrayInChunks(arr, chunkSize, processor) {
  for (let i = 0; i < arr.length; i += chunkSize) {
    const chunk = arr.slice(i, i + chunkSize);
    // 处理当前批次的元素
    chunk.forEach(processor);
    // 用setImmediate让出事件循环，等待下一轮事件循环再处理下一批
    await new Promise(resolve => setImmediate(resolve));
  }
}

然后修改/map接口：

app.get('/map', async (req, res) => {
  // 每次处理100条，可根据实际性能调整chunkSize（太大仍会短暂阻塞，太小会降低处理效率）
  await processArrayInChunks(arr, 100, a => JSON.parse(JSON.stringify(a)));
  res.send('Hello map');
});

这样处理时，每完成100条数据的操作，事件循环就会被让出一次，此时/something的请求就能被及时处理。

方案2：使用Worker Threads隔离CPU密集任务 #

如果你的JSON操作是极端CPU密集型的，分块处理仍有明显阻塞，可以用Node.js的worker_threads模块，把任务放到单独的工作线程中执行，主线程完全不被阻塞。

1. 先创建一个工作线程文件（比如json-processor.js）：

const { parentPort } = require('worker_threads');

// 接收主线程传来的数组，处理后返回结果
parentPort.on('message', (data) => {
  const processed = data.map(a => JSON.parse(JSON.stringify(a)));
  parentPort.postMessage(processed);
});

2. 修改主文件的/map接口：

const { Worker } = require('worker_threads');

app.get('/map', (req, res) => {
  const worker = new Worker('./json-processor.js');
  // 把数组传给工作线程
  worker.postMessage(arr);
  
  worker.on('message', () => {
    res.send('Hello map');
    worker.terminate(); // 处理完成后终止线程
  });
  
  worker.on('error', (err) => {
    console.error('Worker error:', err);
    res.status(500).send('Processing failed');
    worker.terminate();
  });
});

工作线程会在单独的CPU线程中执行JSON处理任务，主线程可以正常处理其他请求，完全不会被阻塞。

注意事项 #

• 分块处理的chunkSize需要根据实际测试调整：比如你的JSON对象越大，chunkSize应该越小，避免单次处理时间过长。
• Worker Threads会有线程通信的开销，如果你的数据量不是特别大，分块处理的性能反而更好。
• 避免在循环中直接使用setTimeout，因为它会把任务放到定时器阶段，延迟比setImmediate更高，setImmediate会优先在I/O回调之后执行，更适合让出事件循环。

内容的提问来源于stack exchange，提问作者user678272