MongoDB 两个千万级ID集合对比求差集的高效实现方案咨询

方案1：优化版聚合管道（优先推荐，性能最高） #

你之前的$lookup方案问题出在两点：一是查询方向搞反了，要找colb独有数据应该从colb发起查询；二是没有限制返回字段、也未开启磁盘使用权限，导致内存溢出挂起。
正确实现代码如下：

db.colb.aggregate([
  // 仅保留对比需要的字段，大幅降低数据加载量
  { $project: { _id: 1 } },
  {
    $lookup: {
      from: "cola",
      localField: "_id",
      foreignField: "_id",
      as: "matched_records"
    }
  },
  // 过滤出cola中不存在的记录
  { $match: { matched_records: { $size: 0 } } },
  // 移除多余字段，返回目标格式
  { $project: { matched_records: 0 } },
  // 可选：结果集过大时直接写入新集合，避免shell内存不足
  // { $out: "colb_unique_result" }
], { 
  // 开启磁盘使用，突破聚合内存100M限制
  allowDiskUse: true 
})

注意：如果你对比的不是默认主键_id，需要确保两个集合的对比字段都创建了单字段索引，否则查询会全表扫描，性能极差。

方案2：分批游标处理（内存可控，兼容性好） #

如果你的MongoDB版本较低，或者聚合查询仍有性能问题，可以用批量游标分批处理，全程内存占用可控：

// 每批处理1万条，可根据服务器内存调整大小
const BATCH_SIZE = 10000;
// 初始化colb游标，仅加载需要的字段
const colbCursor = db.colb.find({}, { _id: 1 }).batchSize(BATCH_SIZE);
const resultBuffer = [];

while (colbCursor.hasNext()) {
  // 取一批id
  const currentBatch = colbCursor.nextBatch(BATCH_SIZE);
  const batchIds = currentBatch.map(item => item._id);
  // 批量查询这批id在cola中存在的条目
  const existsIds = db.cola.distinct("_id", { _id: { $in: batchIds } });
  // 求当前批的差集
  const batchUniqueIds = batchIds.filter(id => !existsIds.includes(id));
  resultBuffer.push(...batchUniqueIds.map(id => ({ _id: id })));

  // 缓冲满10万条就写入新集合，避免内存溢出
  if (resultBuffer.length >= 100000) {
    db.colb_unique_result.insertMany(resultBuffer);
    resultBuffer.length = 0;
  }
}
// 写入最后一批剩余数据
if (resultBuffer.length > 0) {
  db.colb_unique_result.insertMany(resultBuffer);
}

执行完成后直接查询colb_unique_result集合即可得到目标结果。

注意事项 #

• 两种方案都优先依赖索引，没有索引的情况下先建索引再执行查询
• 结果集超过10万条时，不要直接在shell返回结果，写入新集合后再按需导出
• 尽量选择业务低峰期执行，避免占用过多IO资源影响线上业务

内容的提问来源于stack exchange，提问作者enavuio