Mongoose聚合内部Lookup分组：重复结果处理与多Lookup实现

我来帮你梳理下解决思路：你现在的问题是在分组后执行lookup时，同一个id_fanpage返回了大量重复关联数据，想要在聚合流程内先去重再继续后续的lookup操作。这里有两种高效的处理方案，你可以根据MongoDB版本和实际需求选择：

方案1：在Lookup内部用子管道提前去重（推荐，MongoDB 3.6+支持） #

这种方法最省性能，因为它直接在关联查询阶段就过滤掉重复数据，不需要先拉取所有关联结果再处理。你可以给lookup加一个子管道，在里面先对关联表的数据做分组去重：

Post.aggregate([
  { 
    "$group" : {
      "_id" : { "id_fanpage": "$id_fanpage" },
      "total": { $sum: 1 } 
    } 
  },
  { 
    "$lookup": { 
      "from": "v3_post_reaccion_angry", 
      "let": { "targetFanpage": "$_id.id_fanpage" }, // 定义变量传递当前分组的fanpage ID
      "pipeline": [
        // 匹配关联表中对应的fanpage数据
        { "$match": { "$expr": { "$eq": [ "$id_fanpage", "$$targetFanpage" ] } } },
        // 按你需要的唯一字段分组去重，比如如果要保留完整数据，用$first取第一条即可
        { 
          "$group": {
            "_id": "$id_fanpage", // 按fanpage ID分组，确保每个fanpage只返回一条
            // 如果需要保留关联表的其他字段，用$first/$last提取你需要的内容
            "reactionCount": { "$first": "$count" },
            "createTime": { "$first": "$create_time" }
          }
        }
      ],
      "as": "angry_reactions" 
    } 
  },
  // 这里可以继续添加后续的lookup步骤，比如关联其他数据表
  {
    "$lookup": {
      "from": "v3_post_reaccion_like",
      "localField": "_id.id_fanpage",
      "foreignField": "id_fanpage",
      "as": "like_reactions"
    }
  }
])

方案2：Lookup后再分组去重（兼容老版本MongoDB） #

如果你的MongoDB版本低于3.6，不支持子管道，可以先执行lookup拿到所有结果，再通过$unwind+$group的组合去重：

Post.aggregate([
  { 
    "$group" : {
      "_id" : { "id_fanpage": "$id_fanpage" },
      "total": { $sum: 1 } 
    } 
  },
  { 
    "$lookup": { 
      "from": "v3_post_reaccion_angry", 
      "localField": "_id.id_fanpage", 
      "foreignField": "id_fanpage",
      "as": "angry_reactions" 
    } 
  },
  // 展开关联结果数组（保留空数组的情况，避免丢失没有数据的fanpage）
  { "$unwind": { "path": "$angry_reactions", "preserveNullAndEmptyArrays": true } },
  // 分组去重，同时保留之前的total字段
  { 
    "$group": {
      "_id": "$_id.id_fanpage",
      "total": { "$first": "$total" },
      // 用$addToSet收集不重复的关联数据，或者用$first直接取一条
      "angry_reactions": { "$addToSet": "$angry_reactions" }
    }
  },
  // 还原之前的_id结构，保证后续lookup字段匹配
  { 
    "$project": {
      "_id": { "id_fanpage": "$_id" },
      "total": 1,
      "angry_reactions": 1
    }
  },
  // 继续添加其他lookup步骤
  {
    "$lookup": {
      "from": "another_collection",
      "localField": "_id.id_fanpage",
      "foreignField": "id_fanpage",
      "as": "other_data"
    }
  }
])

注意事项 #

• 如果关联表中id_fanpage对应的数据本身就有重复，你需要明确按什么字段去重：比如按关联表的_id分组，或者按业务上的唯一标识（比如用户ID+操作时间）分组。
• 优先选择方案1，因为它能减少数据传输量，聚合效率更高。

内容的提问来源于stack exchange，提问作者hackerunet