MongoDB集合重复记录删除求助：聚合及索引方法报错

我来帮你搞定这个重复记录删除的问题，先拆解下你之前遇到的两个错误，再给你几个靠谱的解决方案：

先说说你之前操作出错的原因： #

1. 聚合查询报错：你写的聚合命令少了数组包裹！MongoDB的aggregate方法要求管道参数是一个数组，你直接传了单个$group对象，所以触发了TypeError。正确的写法应该把聚合阶段放在[]里。
2. 唯一索引创建失败：你只针对employeeNumber字段创建唯一索引，但你的重复记录是employeeNumber和givenName两个字段完全一致的情况。另外ensureIndex在MongoDB 3.0+已经被createIndex替代，单一字段的唯一索引无法识别你这种联合重复的场景，自然会触发重复键错误。

方法一：聚合+批量删除（精准保留第一条记录） #

这个方法能让你清晰控制要保留的记录，适合需要明确逻辑的场景：

// 第一步：找出所有重复组，收集每个组里的重复ID
var duplicateGroups = db.test_emp.aggregate([
    {
        $group: {
            _id: { employeeNumber: "$employeeNumber", givenName: "$givenName" }, // 用这两个字段判定重复
            allIds: { $push: "$_id" },
            count: { $sum: 1 }
        }
    },
    { $match: { count: { $gt: 1 } } } // 只筛选出有重复的组
]).toArray();

// 第二步：遍历每个组，删除除第一个ID外的所有重复记录
duplicateGroups.forEach(function(group) {
    group.allIds.shift(); // 移除组内第一个ID，保留这条记录
    db.test_emp.deleteMany({ _id: { $in: group.allIds } });
});

这个方法的好处： #

• 完全可控，你可以调整shift()改成pop()来保留最后一条记录；
• 不会误删其他非重复的文档，精准针对你定义的重复规则。

方法二：创建联合唯一索引（快速去重） #

如果你想一次性通过索引解决，并且愿意保留最早的重复记录，可以创建联合唯一索引（对应你的重复判定字段）：

// 先删掉之前可能存在的单一字段索引（如果有的话）
db.test_emp.dropIndex("employeeNumber_1");

// 创建联合唯一索引，自动删除重复项（保留最早的那条）
db.test_emp.createIndex(
    { employeeNumber: 1, givenName: 1 },
    { unique: true, dropDups: true }
);

⚠️ 注意：dropDups参数在MongoDB 3.0之后已经被废弃，新版本MongoDB可能会提示警告。如果用新版本，建议先用方法一删除重复，再创建无dropDups的唯一索引，避免意外数据丢失。

内容的提问来源于stack exchange，提问作者prat_86