为何源集合含10万文档时，空外部集合的$lookup仍异常缓慢？

场景还原 #

基础集合包含100,000条文档，全部需经过$lookup阶段：

• 关联的外部集合为空时，查询耗时30秒；移除$lookup阶段后仅需3秒
• 外部集合存在文档时已配置对应索引，但$lookup为动态匹配，需为10万条文档分别匹配不同值
• 附explain()输出片段：

{
  "$lookup": {
    from: ....
  },
  ....           
  "totalDocsExamined": 0,
  "totalKeysExamined": 0,
  "collectionScans": 0,
  "indexesUsed": [
    "A_1_B_1_C_1"
  ],
  "nReturned": 100000,
  "executionTimeMillisEstimate": 35602
}

核心原因 #

即便外部集合为空，动态匹配的$lookup依然会为基础集合的每一条文档发起单独的索引查询请求——哪怕最终没有匹配结果。10万次查询的调度、内部进程间开销叠加，直接拉满了耗时。从explain的totalKeysExamined: 0也能验证这一点：每次查询都没命中数据，但查询动作本身执行了10万次。

优化方案 #

1. 空集合场景：直接跳过$lookup

如果外部集合为空是可预判的临时状态，可以在管道开头加判断，避免无意义的查询：

[
  {
    $facet: {
      // 先检查外部集合是否有数据
      checkExt: [{ $limit: 1 }, { $lookup: { from: "externalColl", pipeline: [{ $count: "cnt" }], as: "extCount" } }],
      // 先执行原查询（不含$lookup）
      mainData: [{ /* 原查询逻辑，去掉$lookup */ }]
    }
  },
  {
    $project: {
      data: {
        $cond: [
          // 如果外部集合为空，直接返回原数据
          { $eq: [{ $arrayElemAt: ["$checkExt.extCount.cnt", 0] }, 0] },
          "$mainData",
          // 否则再执行关联（适合非空场景的兼容）
          { $map: { 
              input: "$mainData", 
              as: "doc", 
              in: { $mergeObjects: ["$$doc", { 
                  $lookup: { from: "externalColl", localField: "dynamicField", foreignField: "matchField", as: "joined" } 
              }] } 
          } }
        ]
      }
    }
  },
  { $unwind: "$data" },
  { $replaceRoot: { newRoot: "$data" } }
]

2. 通用优化：批量匹配替代逐文档查询

把10万次单条查询合并成1次批量查询，再关联回原数据，彻底减少查询次数：

[
  // 1. 收集所有需要匹配的动态字段值，同时保留原文档
  { $group: { 
      _id: null, 
      matchValues: { $addToSet: "$dynamicField" }, 
      docs: { $push: "$$ROOT" } 
  } },
  // 2. 一次性查询外部集合的所有匹配数据
  { $lookup: { 
      from: "externalColl", 
      localField: "matchValues", 
      foreignField: "matchField", 
      as: "externalData" 
  } },
  // 3. 把外部数据转成键值对映射，方便快速匹配
  { $addFields: { 
      externalMap: { $arrayToObject: { 
          $map: { 
              input: "$externalData", 
              as: "ext", 
              in: { k: "$$ext.matchField", v: "$$ext" } 
          } 
      } } 
  } },
  // 4. 把匹配结果关联回原文档
  { $unwind: "$docs" },
  { $addFields: { 
      joined: { $ifNull: ["$externalMap.$docs.dynamicField", []] } 
  } },
  { $replaceRoot: { newRoot: { $mergeObjects: ["$docs", { joined: "$joined" }] } } }
]

这个方案不管外部集合是否为空，都能把查询次数从10万次降到1次，性能提升最明显。

3. 管道式$lookup加限制

如果必须保留逐文档匹配的逻辑，试试用管道式$lookup并添加$limit（如果只需要单条匹配结果），减少单次查询的内部处理开销：

{
  $lookup: {
    from: "externalColl",
    let: { localVal: "$dynamicField" },
    pipeline: [
      { $match: { $expr: { $eq: ["$matchField", "$$localVal"] } } },
      { $limit: 1 } // 只取第一条匹配结果，减少数据处理量
    ],
    as: "joined"
  }
}

内容的提问来源于stack exchange，提问作者Bear Bile Farming is Torture