如何为存在重复数据的MongoDB集合添加唯一索引？

如果你的students集合已有重复email，且只想阻止未来出现重复、不在意现有历史数据，直接创建唯一索引会失败（因为MongoDB唯一索引要求整个集合的该字段值唯一，包括现有数据）。以下是两种可行方案：

方案一：清理现有重复后创建标准唯一索引（推荐） #

这是最规范的做法，彻底解决重复问题：

1. 查找重复email：

   db.students.aggregate([
     { $group: { _id: "$email", count: { $sum: 1 } } },
     { $match: { count: { $gt: 1 } } }
   ])
   

2. 删除重复数据（保留每个email的第一条记录）：

   db.students.aggregate([
     { $group: { _id: "$email", docs: { $push: "$$ROOT" }, count: { $sum: 1 } } },
     { $match: { count: { $gt: 1 } } }
   ]).forEach(function(doc) {
     doc.docs.shift(); // 移除数组第一个元素（保留第一条记录）
     doc.docs.forEach(function(dupDoc) {
       db.students.deleteOne({ _id: dupDoc._id });
     });
   })
   

3. 创建唯一索引：

   db.students.createIndex({ email: 1 }, { unique: true })
   

创建完成后，任何插入/更新操作如果包含已存在的email，都会直接报错，阻止重复。

方案二：保留现有重复，仅限制未来新增数据 #

如果必须保留现有重复数据，可以通过部分唯一索引实现，但需要给现有重复文档添加标记：

1. 标记现有重复文档：

   // 先获取所有重复的email列表
   const duplicateEmails = db.students.aggregate([
     { $group: { _id: "$email", count: { $sum: 1 } } },
     { $match: { count: { $gt: 1 } } },
     { $project: { _id: 1 } }
   ]).map(item => item._id);
   
   // 给这些email对应的文档添加isLegacy标记
   db.students.updateMany(
     { email: { $in: duplicateEmails } },
     { $set: { isLegacy: true } }
   )
   

2. 创建部分唯一索引：

   db.students.createIndex(
     { email: 1 },
     { 
       unique: true,
       partialFilterExpression: { isLegacy: { $ne: true } }
     }
   )
   

这个索引只会对不带isLegacy: true标记的文档强制email唯一，未来插入新文档时（默认不带该标记），如果email已存在（无论是否是现有重复的），都会被阻止；而现有带标记的重复文档不受影响。

注意：如果不想修改现有文档，也可以在应用层做前置校验，但这种方式存在并发插入的风险，可靠性远不如数据库层面的索引约束。

内容的提问来源于stack exchange，提问作者Alfredo Esteban Hernndez Dvalo