JS大数据量数组合并时循环未完成即响应、堆内存溢出如何解决

• 异步等待完全不生效：Array.map 本身不会等待内部传入的async回调执行，你在两层map里写的await没有任何实际等待效果。map执行后会直接返回一组pending状态的Promise数组，你没有对这批Promise做任何等待处理就直接返回了arr1，所以接口会在数据还没合并完的时候就提前返回响应。
• 堆内存溢出是两个问题叠加导致的：第一你用了双层嵌套循环，总遍历次数达到6000*60000=3.6亿次，这个量级的循环本身就会占用极高的CPU和内存资源；第二你给所有同步操作都套了无意义的async/await，平白创建了数百万个无用的Promise对象，额外占用了大量堆内存，直接触发内存溢出。注意Array.push是纯同步操作，前面加await没有任何作用，属于完全多余的代码。

核心优化点是把时间复杂度为O(n*m)的嵌套循环，改成时间复杂度为O(n+m)的哈希索引匹配，同时移除所有无意义的async/await——整个数据合并过程是纯内存同步操作，根本不需要异步处理。

// 纯同步逻辑，不需要加async
const mergeById = (arr1, arr2) => {
  // 先构建item_id到属性数组的映射索引
  const propGroupMap = new Map();
  // 第一次遍历arr2完成分组，共60000次遍历
  for (const prop of arr2) {
    const id = prop.item_id;
    if (!propGroupMap.has(id)) {
      propGroupMap.set(id, []);
    }
    propGroupMap.get(id).push(prop);
  }
  // 第二次遍历arr1直接从索引取对应属性，共6000次遍历
  for (const item of arr1) {
    item.properties = propGroupMap.get(item.item_id) || [];
  }
  return arr1;
}

// 接口逻辑也不需要async，因为没有异步操作
const someFunction = (req, res) => {
  const arr1 = dataItems(); // 6000条数据
  const arr2 = dataProps(); // 60000条数据
  const result = mergeById(arr1, arr2);
  res.json({
    data: result
  })
}

优化后总遍历次数只有66000次，相比原来的3.6亿次性能提升了几个数量级，也不会创建多余的Promise对象，完全不会出现内存溢出问题，代码执行完才会返回响应。

• map、forEach这类数组遍历方法本身不支持等待异步回调，如果确实需要在循环中处理异步任务，要么用for...of配合await串行执行，要么把所有异步任务的Promise实例收集齐之后用Promise.all统一等待完成，不要在map/forEach里写了await就认为程序会等待循环执行完。
• 不要给变量赋值、数组push这类纯同步CPU计算操作加async/await，这类操作本身会在主线程同步执行完成，加await只会额外创建Promise对象，徒增内存开销和事件循环调度成本。
• 如果后续合并逻辑中需要加入IO类异步操作（比如查库、读文件、请求第三方接口），提前做好数据分组后再批量处理异步任务，控制好并发数量，避免一次性创建过多Promise占满内存。

内容的提问来源于stack exchange，提问作者risky