如何快速合并两个MongoDB大集合并生成去重集合C

针对4.63亿条的集合A和4.75亿条的集合B，要快速生成包含唯一phone记录的集合C，以下是几个能满足1-2小时完成需求的方案：

方案一：MongoDB原生聚合管道+$merge（推荐） #

这是最直接的原生高效方案，利用MongoDB的聚合引擎并行处理，避免客户端和服务器的大量数据传输。

前置准备 #

先给集合A和B的phone字段创建单键索引，大幅提升分组去重的效率：

db.collectionA.createIndex({phone: 1});
db.collectionB.createIndex({phone: 1});

聚合管道实现 #

通过$unionWith合并两个集合，再按phone分组去重，最后用$merge写入集合C：

db.collectionA.aggregate([
  // 合并集合A和B的所有文档
  { $unionWith: { coll: "collectionB" } },
  // 按phone分组，保留任意一条完整文档
  {
    $group: {
      _id: "$phone",
      doc: { $first: "$$ROOT" }
    }
  },
  // 还原文档结构（去掉分组的_id，用原文档的_id）
  {
    $replaceRoot: { newRoot: "$doc" }
  },
  // 合并到集合C，若已存在相同phone则跳过（确保唯一）
  {
    $merge: {
      into: "collectionC",
      on: "phone",
      whenMatched: "skip",
      whenNotMatched: "insert"
    }
  }
], { allowDiskUse: true }); // 开启磁盘临时存储，避免内存不足

优化点 #

• 执行前关闭集合C的所有索引，完成后再创建，减少写入时的索引维护开销
• 确保MongoDB实例分配足够内存（至少能容纳A、B集合的phone索引）
• 若使用分片集群，聚合会自动在各分片并行处理，效率更高

方案二：导出+外部工具去重+导入（适合有服务器资源的场景） #

利用系统级工具的并行处理能力，比纯MongoDB操作可能更快，适合有充足磁盘和CPU资源的环境。

步骤 #

1. 导出两个集合的phone和_id字段

mongoexport --db your_db --collection collectionA --fields _id,phone --type csv --out a.csv
mongoexport --db your_db --collection collectionB --fields _id,phone --type csv --out b.csv

2. 合并并去重
   用awk按phone去重（保留第一条出现的记录），处理大文件效率远高于sort+uniq：

awk -F',' '!seen[$2]++' a.csv b.csv > unique.csv

3. 导入到集合C

mongoimport --db your_db --collection collectionC --type csv --fields _id,phone --file unique.csv

注意事项 #

• 确保服务器有足够的磁盘空间（导出的csv文件总大小约为几十GB，视phone字段长度而定）
• 若文件过大，可拆分文件并行处理后再合并

方案三：分片集群下的并行批量写入（适合分片环境） #

如果你的MongoDB是分片集群，可按分片键（比如phone的哈希分片）拆分任务，每个分片单独处理A、B的分片数据，生成对应分片的唯一记录后写入C的对应分片，完全并行处理，能最大化利用集群资源。

核心思路 #

1. 确认集合A、B、C都按phone哈希分片
2. 针对每个分片节点，单独查询该分片上A和B的文档
3. 在分片节点本地完成去重后，批量写入C的对应分片
4. 所有分片并行执行，大幅缩短总耗时

内容的提问来源于stack exchange，提问作者Usman Ghani Mughal