MongoDB find查询能否直接实现产品结果去重

完全可以在数据库查询阶段直接完成按product字段的去重，无需在查询结果返回后额外编写JS内存过滤逻辑，数据库层面执行去重的性能远高于内存遍历过滤，尤其在数据量较大的场景下优势更明显。

根据你需要的返回结果格式，有两种常用实现方案：

方案1：需要返回去重后的完整产品文档（和原find返回结构一致） #

使用Mongoose的聚合管道实现，先匹配符合条件的记录，再按product字段分组去重，最后还原文档结构，代码示例：

const numberOfUniqueProducts = await this.productStoreModel.aggregate([
  // 匹配storeID符合条件的记录，和原find的查询规则完全一致
  { $match: { store: { $in: storeIDs } } },
  // 若需要指定重复记录的保留规则（比如保留最新创建的记录），可在此处加$sort阶段调整顺序
  // { $sort: { createTime: -1 } },
  // 按product字段分组去重，每个product值仅保留一条记录
  {
    $group: {
      _id: "$product",
      record: { $first: "$$ROOT" } // 取分组内第一条完整文档
    }
  },
  // 去掉分组的嵌套结构，返回和原find一致的扁平文档格式
  { $replaceRoot: { newRoot: "$record" } }
]).exec();

方案2：仅需要去重后的product字段值，不需要完整文档 #

直接调用Mongoose内置的distinct()方法即可，写法更简洁：

// 直接返回匹配条件、无重复的product字段值数组
const uniqueProductValues = await this.productStoreModel.distinct("product", {
  store: { $in: storeIDs }
}).exec();

注意事项 #

• 若使用聚合分组去重，未提前排序的情况下，每个分组保留的是数据库自然遍历顺序下的第一条记录，有明确保留规则的一定要先加$sort阶段指定顺序。
• 建议提前给store、product字段创建联合索引，能大幅提升查询和去重的执行效率。
• 两种方案都是在数据库侧完成计算，不需要把所有符合条件的记录全量加载到Node.js内存中，内存占用和执行速度都比手写JS过滤更优。

内容的提问来源于stack exchange，提问作者user19238266