如何使用MongoDB聚合函数去除重复数据并保留唯一数据

我懂你现在的困扰——想提取指定帖子下的唯一评论内容，可不管是普通查询还是简单聚合都返回了重复结果。这是因为集合里存在多个包含相同评论的文档，再加上评论是以数组形式存储的，直接查询会把每个文档里的评论都输出，自然就出现重复了。下面给你一套完整的聚合方案来解决这个问题：

完整聚合管道代码 #

db.sInsert.aggregate([
  // 第一步：筛选出目标post_id对应的所有文档
  { $match: { post_id: "28011986676" } },
  // 第二步：展开评论数组，将数组内的每条评论拆分为独立文档
  { $unwind: "$comments_data.comments.data" },
  // 第三步：按评论内容分组，自动实现去重
  { 
    $group: {
      _id: "$comments_data.comments.data.message", // 用评论内容作为分组标识，相同内容会被合并
      // 可选：如果需要保留评论的其他关联信息，可添加以下字段
      // firstCreatedTime: { $first: "$comments_data.comments.data.created_time" },
      // commenterName: { $first: "$comments_data.comments.data.from.name" }
    }
  },
  // 第四步：调整输出格式，让结果更直观整洁
  {
    $project: {
      _id: 0,
      uniqueMessage: "$_id"
    }
  }
])

各步骤作用详解 #

• $match：先过滤出目标帖子的所有文档，减少后续处理的数据量，这一步你之前的思路是对的。
• $unwind：因为评论存储在数组中，这一步会把数组里的每条评论拆成独立文档，让我们能对单条评论做去重操作。
• $group：这是去重的核心——用评论的message字段作为分组的_id，MongoDB会自动把相同内容的评论合并成一组，天然实现去重。如果需要保留评论的其他信息（比如创建时间、评论者），可以用$first或$last提取该组内的第一条/最后一条对应数据。
• $project：最后调整输出格式，把默认的_id替换成更易懂的字段名，同时隐藏不需要的原始_id。

补充说明 #

你之前尝试的ensureIndex无法解决这个问题，因为索引的作用是加速查询、约束单个字段的唯一性，它不能帮你在查询结果中对数组内的内容或跨文档的重复内容做去重处理。

如果同一个文档的评论数组里本身就有重复内容，这个方案也能一并处理，因为$unwind后再$group会把所有重复的评论都合并。

内容的提问来源于stack exchange，提问作者xxxSL