如何通过MongoDB聚合管道对比两集合item_name字段找出缺失项？

针对两个百万级文档集合（items有6362241条、items_recovery有6174859条）且item_name均已建索引的场景，用聚合管道找出items中存在但items_recovery缺失的item_name，最优方法是结合$lookup的索引匹配能力+空结果筛选，具体实现如下：

• 第一步：关联两个集合
  从items集合发起聚合，用$lookup通过item_name等值关联items_recovery集合。因为两边都有该字段的索引，MongoDB会自动触发索引匹配，避免全表扫描，这是大数据量下效率的核心保障。
• 第二步：筛选未匹配的文档
  关联后，未在items_recovery中找到对应记录的文档，其关联结果数组会是空的。用$match筛选出这类文档，再提取item_name即可。

具体聚合代码 #

db.items.aggregate([
  {
    $lookup: {
      from: "items_recovery",
      localField: "item_name",
      foreignField: "item_name",
      as: "recovery_match"
    }
  },
  {
    $match: {
      recovery_match: { $size: 0 }
    }
  },
  {
    $project: {
      _id: 0,
      item_name: 1
    }
  }
])

方案优势 #

• 索引加持效率高：$lookup的等值关联会直接利用item_name索引，避免百万级文档的全表遍历，大幅降低IO开销。
• 内存占用低：无需把两个集合的item_name全部加载到内存做集合差集，适合大数据量场景，不会触发内存溢出风险。
• 结果精准无冗余：直接定位未匹配的记录，不会出现重复或遗漏。

可选优化（针对极致性能） #

如果想进一步减少关联阶段的数据传输，可以给$lookup加自定义管道，找到匹配项就停止查询：

db.items.aggregate([
  {
    $lookup: {
      from: "items_recovery",
      let: { itemName: "$item_name" },
      pipeline: [
        { $match: { $expr: { $eq: ["$item_name", "$$itemName"] } } },
        { $limit: 1 } // 找到匹配就终止，减少数据读取
      ],
      as: "recovery_match"
    }
  },
  {
    $match: {
      recovery_match: { $size: 0 }
    }
  },
  {
    $project: {
      _id: 0,
      item_name: 1
    }
  }
])

内容的提问来源于stack exchange，提问作者lesolorzanov