Node.js查询MongoDB大数据集后计算性能骤降的原因排查

为什么会出现150s vs 10s的巨大差异？ #

• Mongoose的find()默认返回的是Mongoose文档对象，而非原生JavaScript对象。这些文档自带大量Mongoose内置方法（如save()、toJSON()）和内部属性，访问msg.uuid时不是直接读取内存属性，而是经过Mongoose的getter函数处理。单次访问开销虽小，但你要执行2000×90000=1.8亿次这类操作，累积起来直接导致耗时暴涨。
• 本地JSON文件通过require导入的是纯原生JS对象，属性访问是直接内存读取，无额外开销，因此速度差了一个数量级。
• Worker线程无效的原因：Worker只是把计算转移到其他线程，但数据本身还是Mongoose文档对象，属性访问的额外开销依然存在，所以耗时无法降低。

解决方案 #

1. 查询时用lean()返回纯JS对象 #

修改查询代码，添加lean()，让Mongoose跳过文档实例包装，直接返回原生JS对象：

const chat_list = await chat_model.find({}).sort({uuid: 1}).lean();
const msg_list = await message_model.find({}, {content: 1, xxx}).sort({create_time: 1}).lean();

这样处理后，compute函数的耗时会和本地JSON版本基本一致。

2. 优化compute函数的时间复杂度 #

原compute是O(n×m)的时间复杂度（n为chat_list长度，m为msg_list长度），可优化为O(n+m)，进一步提升性能：

function compute(chat_list, msg_list) {
  // 先将msg_list转为以uuid为键的Map，仅遍历一次msg_list
  const msgMap = new Map();
  msg_list.forEach(msg => {
    if (!msgMap.has(msg.uuid)) {
      msgMap.set(msg.uuid, []);
    }
    msgMap.get(msg.uuid).push(msg);
  });

  // 遍历chat_list，直接从Map中获取对应消息
  for (let i = 0, len = chat_list.length; i < len; i++) {
    const chat = chat_list[i];
    const relatedMsgs = msgMap.get(chat.uuid) || [];
    // 对relatedMsgs执行统一处理
  }
}

结合lean()使用，能大幅降低整体耗时。

内容的提问来源于stack exchange，提问作者Ricky