基于Promise/async/await的Mongoose跨表嵌套数据映射方案优化咨询

• 存在严重的N+1查询性能问题：如果查询到100条matchTable记录，每条平均有10个car元素，就会产生1+1000次数据库请求，数据库IO开销极高，数据量稍大就会出现性能瓶颈
• 手动循环修改查询返回对象的逻辑冗余，可维护性差

直接在数据库层面完成数据关联，不需要应用层多次查询和循环处理，性能最优，仅需1次数据库请求就能得到目标结果，代码如下：

const result = await matchTable.aggregate([
  // 筛选符合条件的记录，对应原有find的查询条件
  { $match: { status: true } },
  // 展开car数组，保留car为空的记录
  { $unwind: { path: "$car", preserveNullAndEmptyArrays: true } },
  // 关联Car集合，根据aid匹配对应_id
  {
    $lookup: {
      from: "cars", // 此处替换为Car集合在MongoDB中的实际存储名称，通常为小写复数格式
      localField: "car.aid",
      foreignField: "_id",
      as: "carInfo"
    }
  },
  // 提取关联到的name字段合并到car对象中，未匹配到则赋值为空字符串
  {
    $addFields: {
      "car.name": { $ifNull: [{ $first: "$carInfo.name" }, ""] }
    }
  },
  // 删除临时生成的关联字段
  { $unset: "carInfo" },
  // 将展开的car数组重新组装回原结构
  {
    $group: {
      _id: "$_id",
      status: { $first: "$status" },
      car: { $push: "$car" }
    }
  }
]).exec();

如果你更习惯在应用层处理数据，可以批量查询所有关联的Car记录，仅需2次数据库请求就能完成逻辑，性能远高于原有实现：

// 第一步：查询所有符合条件的matchTable记录
const matchList = await matchTable.find({ status: true }).lean().exec();
// 第二步：收集所有需要查询的car的aid并去重
const aidList = [...new Set(matchList.flatMap(item => item.car.map(c => c.aid)))];
// 第三步：批量查询所有对应Car记录，生成id到name的映射表
const carMap = new Map(
  (await Car.find({ _id: { $in: aidList } }, { name: 1 }).lean().exec())
    .map(car => [car._id.toString(), car.name])
);
// 第四步：遍历补充name字段得到最终结果
const result = matchList.map(item => {
  item.car = item.car.map(c => ({
    ...c,
    name: carMap.get(c.aid) || ''
  }));
  return item;
});

内容的提问来源于stack exchange，提问作者Aks