MongoDB中如何在带排序的全文搜索聚合结果中去除重复项并实现分页

我完全理解你的需求：你需要对包含文本和非唯一标识符的记录做全文搜索，最终得到去重后的标识符列表，并且要按文本匹配分数排序，同时还要支持分页（$skip和$limit）。之前尝试用$group去重，但因为$group不保证输入顺序，导致每次运行结果排序都不稳定，这确实是MongoDB聚合的一个常见痛点。

解决方案思路 #

核心思路是：先为每个标识符（id）保留其最高的文本匹配分数，再基于这个分数进行排序，这样就能保证去重后的结果顺序稳定且符合预期。具体的聚合管道调整如下：

var query = [
  // 1. 执行全文搜索匹配
  { $match: { $text: { $search: "nine" } } },
  // 2. 保留id、原始文档_id，以及文本匹配分数
  { $project: { id: 1, score: { $meta: "textScore" } } },
  // 3. 按id分组，保留每个id的最高匹配分数，同时取该组内任意一个文档的_id
  {
    $group: {
      _id: "$id",
      docId: { $first: "$_id" },
      maxScore: { $max: "$score" }
    }
  },
  // 4. 按最高匹配分数降序排序（分数越高，匹配度越好）
  { $sort: { maxScore: -1 } },
  // 5. 可选：分页参数，比如跳过1条，取2条
  // { $skip: 1 },
  // { $limit: 2 },
  // 6. 重新整理输出格式，和你期望的结构一致
  { $project: { _id: "$docId", id: "$_id" } }
];

printjson(query);
db.annotations.aggregate(query).forEach(printjson);

各阶段作用解释 #

• $match：和你原来的逻辑一致，筛选出包含搜索关键词的文档。
• $project：额外保留了score（文本匹配分数），后续分组和排序都需要依赖这个值。
• $group：按id分组，用$max获取该id下所有文档的最高匹配分数（代表该id的整体匹配优先级），同时用$first取该组内第一个文档的_id（你也可以用$last，只要保留一个合法的_id即可）。
• $sort：基于分组得到的maxScore降序排序，保证结果按匹配度从高到低排列，且顺序稳定。
• $project：最后调整输出结构，和你期望的格式完全一致（包含原始文档的_id和去重后的id）。

运行结果 #

执行后会得到你想要的去重且有序的结果：

{ "_id" : ObjectId("649ef1f4cd3347bd47c85fc8"), "id" : "3" }
{ "_id" : ObjectId("649ef1f4cd3347bd47c85fc5"), "id" : "2" }
{ "_id" : ObjectId("649ef1f4cd3347bd47c85fc2"), "id" : "1" }

分页实现 #

如果需要分页，只需要在$sort之后添加$skip和$limit阶段即可。比如跳过第1条、取后面2条，打开注释里的$skip:1和$limit:2，结果会是：

{ "_id" : ObjectId("649ef1f4cd3347bd47c85fc5"), "id" : "2" }
{ "_id" : ObjectId("649ef1f4cd3347bd47c85fc2"), "id" : "1" }

为什么之前的方法失效？ #

你之前先排序再$group的方式不行，是因为MongoDB的$group阶段不保证保留输入文档的顺序，所以即使你在$group前做了排序，分组后的结果顺序也是不确定的。而我们现在的方法是先把每个id的最高匹配分数提取出来，再基于这个分数排序，完全避免了这个问题，排序结果稳定可预期。

备注：内容来源于stack exchange，提问作者David Wood