如何统计MongoDB中因代码bug产生的重复用户文档数量

嘿，针对你遇到的重复用户数据问题，我来帮你完善聚合查询，实现重复用户文档总数的统计。分两种场景给你方案，你可以根据实际需求选择：

场景1：统计所有属于重复用户的文档总数 #

（即只要某个user出现多次，它的所有文档都被计入统计）

完整的聚合查询如下：

db.users.aggregate([
  // 按user字段分组，统计每个用户的文档数量
  { $group: { _id: "$user", totalDocs: { $sum: 1 } } },
  // 筛选出文档数大于1的分组（存在重复数据的用户）
  { $match: { totalDocs: { $gt: 1 } } },
  // 把所有重复用户的文档数求和，得到总数
  { $group: { _id: null, totalDuplicateDocs: { $sum: "$totalDocs" } } },
  // 优化输出格式，只展示统计结果
  { $project: { _id: 0, totalDuplicateDocs: 1 } }
])

每一步的作用：

• 第一个$group：将数据按user字段聚合，计算每个用户对应的文档数量totalDocs。
• $match：过滤掉只有单条文档的用户组，只保留存在重复的用户。
• 第二个$group：将所有重复用户的文档数累加，得到总的重复用户文档数量。
• $project：移除默认的_id字段，让输出结果更简洁直观。

场景2：统计真正的重复文档数量（即每个用户保留1条，剩下的重复条数总和） #

如果你想知道额外多出来的重复文档数量（比如某个用户有3条文档，其中2条是重复的），可以修改求和逻辑：

db.users.aggregate([
  { $group: { _id: "$user", totalDocs: { $sum: 1 } } },
  { $match: { totalDocs: { $gt: 1 } } },
  // 每个用户组减去1条（保留原始的那条），求和得到总重复条数
  { $group: { _id: null, totalActualDuplicates: { $sum: { $subtract: ["$totalDocs", 1] } } } },
  { $project: { _id: 0, totalActualDuplicates: 1 } }
])

额外小提示：清理重复数据 #

如果之后需要清理这些重复数据，你可以用聚合找到每个重复用户需要保留的文档（比如最早创建的那条），然后删除多余的：

// 先通过聚合找到每个重复用户需要删除的文档ID
db.users.aggregate([
  { $group: {
      _id: "$user",
      // 找到该用户最早创建的文档ID（用createdAt字段判断）
      earliestDocId: { $first: "$_id" },
      // 收集该用户所有文档的ID
      allDocIds: { $push: "$_id" }
    }
  },
  // 筛选出有重复的用户组
  { $match: { allDocIds: { $size: { $gt: 1 } } } },
  // 过滤出需要删除的文档ID（排除最早的那条）
  { $project: {
      docsToDelete: { $filter: {
          input: "$allDocIds",
          cond: { $ne: ["$$this", "$earliestDocId"] }
        }
      }
    }
  }
]).forEach(function(result) {
  // 批量删除重复文档
  db.users.deleteMany({ _id: { $in: result.docsToDelete } });
})

内容的提问来源于stack exchange，提问作者Pedro Daumas