如何合并两个使用重叠自增_id的MongoDB集合？

你遇到的重复键错误根源有两个：

1. 聚合管道中自定义函数仅执行一次：getNextSequence是客户端函数，在聚合的$set阶段只会被调用一次，所有文档都会使用同一个返回值作为_id，直接触发重复键冲突。
2. 集合合并顺序错误：原代码从second集合发起聚合并$unionWith first，最终合并后的顺序是second文档在前、first文档在后，不符合你“备份条目（first）排在现有日志（second）之前”的要求。

步骤1：初始化计数器（按需选择） #

如果必须用从0开始的自增整数作为_id，先初始化计数器集合：

db.customSequences.insertOne({ _id: "outcoll", seq: -1 }) // 初始设为-1，第一次自增后从0开始

步骤2：正确合并集合并生成唯一ID #

方案A：窗口函数生成自增ID（推荐，MongoDB 5.0+支持）

利用$setWindowFields直接为合并后的文档生成连续自增_id，同时保证first文档排在前面：

db.first.aggregate([
  // 合并first和second，确保first文档在前
  { $unionWith: "second" },
  // 移除原有_id字段
  { $unset: "_id" },
  // 生成从0开始的自增_id
  {
    $setWindowFields: {
      sortBy: {}, // 保持union后的顺序，无需额外排序
      output: {
        _id: { $subtract: [{ $rowNumber: {} }, 1] }
      }
    }
  },
  // 将结果输出到临时集合
  { $out: "outcoll" }
])

方案B：$merge配合计数器（兼容旧版本）

如果你的MongoDB版本低于5.0，无法使用窗口函数，可通过逐文档插入实现：

1. 清空临时集合（若存在）：

db.outcoll.drop()

2. 插入first集合文档并生成自增ID：

db.first.find().forEach(doc => {
  delete doc._id;
  doc._id = db.customSequences.findAndModify({
    query: { _id: "outcoll" },
    update: { $inc: { seq: 1 } },
    new: true
  }).seq;
  db.outcoll.insertOne(doc);
})

3. 插入second集合文档，继续使用同一计数器：

db.second.find().forEach(doc => {
  delete doc._id;
  doc._id = db.customSequences.findAndModify({
    query: { _id: "outcoll" },
    update: { $inc: { seq: 1 } },
    new: true
  }).seq;
  db.outcoll.insertOne(doc);
})

步骤3：替换现有集合 #

合并完成后，将临时集合替换为原second集合：

db.second.drop()
db.outcoll.renameCollection("second")

• 聚合管道中不能依赖客户端自定义函数处理每条文档，所有逐文档执行的逻辑必须使用MongoDB内置聚合操作符。
• $unionWith的顺序由聚合发起集合决定：从first发起聚合并关联second，就能保证备份日志排在现有日志前面。

内容的提问来源于stack exchange，提问作者Guildenstern