如何在MongoDB的$sample采样后去除重复文档？

嘿，我之前也碰到过类似的情况！$sample返回重复文档大多是因为集合里的总文档数比你指定的size（这里是100）要少——MongoDB为了凑够你要的条数，会重复采样已有的文档。要是集合很大还出现重复，那真的是极小概率的采样碰撞，几乎可以忽略。

下面给你两个实用的解决方案，看你需求选：

方案一：采样后去重（结果可能少于100条） #

如果你能接受最终结果数量可能不到100条（只保留采样里的唯一文档），直接在聚合管道里加个$group阶段就行，利用每个文档唯一的_id来过滤重复项，再把文档结构还原回来：

db.myCollection.aggregate([
  { $sample: { size: 100 } },
  { $group: { _id: "$_id", doc: { $first: "$$ROOT" } } }, // 按_id分组，只保留每组第一个出现的文档
  { $replaceRoot: { newRoot: "$doc" } }, // 把分组后的文档还原成原始结构
])

这个方法的好处是保留了$sample的高效性，毕竟$sample在处理大集合时比全量排序快得多。

方案二：直接获取无重复的随机文档（最多100条） #

如果你的核心需求是拿到最多100条完全不重复的随机文档，而不是先采样再去重，那可以换成随机排序+限制条数的方式。这种方式绝对不会有重复，但要注意：如果集合特别大，全量排序的性能会比$sample差一些：

db.myCollection.aggregate([
  { $sort: { randomKey: { $rand: {} } } }, // 给每个文档生成随机值并按这个值排序
  { $limit: 100 } // 取前100条，自然都是唯一的
])

要是你的集合文档数本来就少于100，这个方法会返回所有文档，不会出现重复填充的情况。

额外提醒 #

• 如果你用的是MongoDB 5.0及以上版本，$rand操作符是原生支持的；要是用的更早版本，可以用$function来生成随机值，或者直接用方案一。
• 要是集合文档数远大于100还出现重复，那得先检查下集合里是不是存在_id重复的文档——虽然MongoDB默认不允许，但手动插入或者数据导入时出问题的话，也可能出现这种情况，这时候得先修复数据的唯一性问题。

内容的提问来源于stack exchange，提问作者ZYinMD