如何将MongoDB源集合中基于前4字段的唯一子集复制到新集合

方案一：聚合管道+$group+$out（服务器端批量处理，最优选择） #

利用MongoDB聚合管道直接在服务器端完成去重与输出，无需客户端中转数据，结合已有的前4个字段复合索引，性能最优。

实现逻辑 #

1. 按state、city、zip、store四个字段分组
2. 分组时通过$first或$last获取每组内的完整文档（同组内其他字段一致时两者效果相同；若有差异，按需选择保留第一条或最后一条）
3. 使用$out将结果直接写入目标集合（会覆盖目标集合，需增量更新则改用$merge）

代码示例 #

db.source_collection.aggregate([
  {
    $group: {
      _id: {
        state: "$state",
        city: "$city",
        zip: "$zip",
        store: "$store"
      },
      fullDocument: { $first: "$$ROOT" } // 保留每组第一个完整文档，也可替换为$last
    }
  },
  { $replaceRoot: { newRoot: "$fullDocument" } }, // 将完整文档恢复为根文档结构
  { $out: "target_collection" } // 输出到目标集合
])

方案二：聚合管道+$sort+$group（保留最新版本文档） #

若需保留每组内最新的文档（比如按_id或时间字段排序），可先排序再分组：

代码示例 #

db.source_collection.aggregate([
  { $sort: { _id: -1 } }, // 按_id降序，确保最新文档排在组内首位
  {
    $group: {
      _id: {
        state: "$state",
        city: "$city",
        zip: "$zip",
        store: "$store"
      },
      fullDocument: { $first: "$$ROOT" }
    }
  },
  { $replaceRoot: { newRoot: "$fullDocument" } },
  { $out: "target_collection" }
])

方案三：增量去重（用$merge替代$out） #

若目标集合已存在，需增量添加新的去重文档而非覆盖，使用$merge：

代码示例 #

db.source_collection.aggregate([
  {
    $group: {
      _id: {
        state: "$state",
        city: "$city",
        zip: "$zip",
        store: "$store"
      },
      fullDocument: { $first: "$$ROOT" }
    }
  },
  { $replaceRoot: { newRoot: "$fullDocument" } },
  {
    $merge: {
      into: "target_collection",
      on: ["state", "city", "zip", "store"], // 按指定字段匹配已有文档
      whenMatched: "keepExisting", // 已存在则保留原文档，可替换为"replace"等策略
      whenNotMatched: "insert" // 不存在则插入新文档
    }
  }
])

性能说明 #

• 前4个字段的复合索引会被$group阶段自动利用，大幅提升分组效率
• 所有操作均在MongoDB服务器端完成，避免客户端与服务器间的大量数据传输，适配超大集合场景

内容的提问来源于stack exchange，提问作者Joe