MongoDB删除重复记录：如何清理集合中的重复数据？

方法一：聚合定位+批量删除（适合大量重复数据场景） #

先通过聚合查询找出所有重复记录组，再按规则保留单条、删除其余重复项：

1. 执行聚合查询，定位重复分组（替换unique_field为你判断重复的业务唯一字段）：

db.collection.aggregate([
  {
    $group: {
      _id: "$unique_field",
      count: { $sum: 1 },
      ids: { $push: "$_id" }
    }
  },
  {
    $match: {
      count: { $gt: 1 }
    }
  }
])

该查询会返回所有重复组，包含重复字段值、重复数量及对应记录的_id列表。

2. 遍历聚合结果，保留每组内的第一条记录（或按需求指定保留规则，比如最新创建的），删除其余记录：

var duplicates = db.collection.aggregate([
  { $group: { _id: "$unique_field", count: { $sum: 1 }, ids: { $push: "$_id" } } },
  { $match: { count: { $gt: 1 } } }
]).toArray();

duplicates.forEach(function(doc) {
  doc.ids.shift(); // 移除要保留的记录ID
  db.collection.deleteMany({ _id: { $in: doc.ids } }); // 删除剩余重复项
});

方法二：唯一索引+updateOne（适合预防+清理结合场景） #

如果重复是因为插入时无唯一约束，可通过唯一索引从根源避免重复，同时清理已有数据：

1. 先清理已有重复数据（用方法一），再创建唯一索引：

db.collection.createIndex({ unique_field: 1 }, { unique: true, background: true })

2. 后续插入时用updateOne的keepExisting参数，确保仅保留第一条记录：

db.collection.updateOne(
  { unique_field: "目标字段值" },
  { $set: { /* 记录内容 */ } },
  { upsert: true, keepExisting: true }
)

关键注意事项 #

• 操作前必须备份数据，防止误删核心记录。
• 超大集合建议分批次处理，避免占用过多数据库资源。
• 修复自动化流程：添加插入前存在性检查、唯一索引约束，从根源杜绝重复数据生成。

内容的提问来源于stack exchange，提问作者DogEars