MongoDB聚合查询中如何避免Lookup返回重复结果？

问题根源 #

你遇到的重复数据，大概率是因为$lookup关联时，关联集合返回了重复文档，或者主集合在$lookup前有$unwind操作导致主文档被拆分，每个拆分后的文档都关联到相同的子文档，后续$group用$push就会把重复项累加。而$addToSet会破坏排序是因为它是无序集合，MongoDB不保证其返回数组的顺序，自然会打乱之前的$sort结果。

可行解决方案 #

方案1：在$lookup阶段直接去重并排序 #

最高效的方式是在$lookup的子管道里先对关联集合做去重+排序，这样返回的数组本身就是无重复且有序的，后续无需再处理：

以commentsLookup为例，修改$lookup的写法：

{
  $lookup: {
    from: "comments",
    let: { postId: "$_id" },
    pipeline: [
      { $match: { $expr: { $eq: ["$postId", "$$postId"] } } },
      // 按_id去重，保留第一条匹配的文档（可根据需求调整保留规则）
      { $group: { _id: "$_id", doc: { $first: "$$ROOT" } } },
      { $replaceRoot: { newRoot: "$doc" } },
      // 按你需要的字段排序，比如创建时间倒序
      { $sort: { createdAt: -1 } }
    ],
    as: "commentsLookup"
  }
}

对likesLookup做同样的修改即可。这样lookup返回的数组既无重复，又保留了排序，后续$group用$push就不会产生重复数据。

方案2：对已存在重复的数组去重并保留排序 #

如果无法调整$lookup逻辑，可在$project阶段用$reduce结合$indexOfArray实现有序去重，这个方法会严格按照原数组顺序保留第一个出现的元素，跳过后续重复项：

{
  $project: {
    // 保留其他需要的字段
    title: 1,
    content: 1,
    commentsLookup: {
      $reduce: {
        input: "$commentsLookup",
        initialValue: [],
        in: {
          $cond: [
            // 检查当前元素的_id是否已在结果数组中
            { $eq: [{ $indexOfArray: ["$$value._id", "$$this._id"] }, -1] },
            // 不在则添加到数组
            { $concatArrays: ["$$value", ["$$this"]] },
            // 已存在则跳过
            "$$value"
          ]
        }
      }
    },
    likesLookup: {
      // 复制上面commentsLookup的去重逻辑即可
      $reduce: {
        input: "$likesLookup",
        initialValue: [],
        in: {
          $cond: [
            { $eq: [{ $indexOfArray: ["$$value._id", "$$this._id"] }, -1] },
            { $concatArrays: ["$$value", ["$$this"]] },
            "$$value"
          ]
        }
      }
    }
  }
}

方案3：调整聚合顺序避免重复关联 #

如果你的聚合流程中存在$unwind操作，检查是否可以将$lookup移到$unwind之前执行。这样主文档在未拆分的状态下完成关联，得到的子数组天然无重复，后续$unwind和$group也不会引入重复数据。

内容的提问来源于stack exchange，提问作者Epple