MongoDB 4.0去重求助：基于id字段删除重复文档

你之前尝试的db.tweets.ensureIndex( { id:1 }, { unique:true, dropDups:true } )之所以无效，是因为dropDups参数早在MongoDB 3.0版本就被废弃了，4.0里完全不支持这个参数——现在创建唯一索引时如果存在重复数据，索引创建会直接失败，不会自动删除重复项。

下面给你两种可靠的解决方法，操作前记得先备份数据，避免误删：

方法一：直接删除重复文档（保留每个id的第一个文档） #

这个方法适合不想重新创建集合的场景，步骤如下：

1. 先运行聚合查询，找出所有重复的id及对应的文档_id：

var duplicateGroups = db.tweets.aggregate([
  {
    $group: {
      _id: "$id", // 按id字段分组
      duplicateIds: { $push: "$_id" }, // 收集每组所有文档的_id
      count: { $sum: 1 } // 统计每组的文档数量
    }
  },
  { $match: { count: { $gt: 1 } } } // 只筛选出重复次数大于1的组
]).toArray();

2. 遍历结果，删除每组中除第一个文档外的所有重复项：

duplicateGroups.forEach(function(group) {
  group.duplicateIds.shift(); // 移除数组第一个元素，保留该文档
  db.tweets.deleteMany({ _id: { $in: group.duplicateIds } }); // 删除剩余的重复文档
});

如果你的数据集很大，建议分批处理，避免内存占用过高。

方法二：通过临时集合重建无重复数据的集合 #

这个方法更高效，适合数据量较大的场景：

1. 用聚合将每个id的第一个文档导出到临时集合：

db.tweets.aggregate([
  {
    $group: {
      _id: "$id",
      doc: { $first: "$$ROOT" } // 保留每组的第一个文档
    }
  },
  { $replaceRoot: { newRoot: "$doc" } }, // 恢复原文档结构
  { $out: "tweets_temp" } // 将结果写入临时集合
]);

2. 重命名集合替换原数据（先备份原集合）：

db.tweets.renameCollection("tweets_backup"); // 备份原集合
db.tweets_temp.renameCollection("tweets"); // 将临时集合重命名为原集合名

防止未来出现重复 #

处理完现有重复数据后，记得创建唯一索引，这样后续插入重复id的文档时会直接报错，避免再次出现重复：

db.tweets.createIndex({ id: 1 }, { unique: true });

内容的提问来源于stack exchange，提问作者Anto