Mongoose中$group聚合随机分页查询结果重复问题咨询

问题根源 #

你当前的实现有三个核心问题，直接导致分页重复：

• 没有实现真正的随机排序：你写的拆分product_code分组逻辑和随机排序完全无关，排序规则写的是{ "price_usd": 1 }，但$group阶段根本没有把price_usd字段投射到分组结果的顶层，排序时所有文档的price_usd都是null，排序值完全一致，MongoDB不会保证同排序值下的文档返回顺序固定，每次查询的顺序都可能飘。
• 排序键无唯一兜底：就算price_usd字段正常，同价格的商品排序值还是重复的，只要两次分页请求之间有数据写入、或存储引擎调整文档物理位置，$skip/$limit的偏移量就会错位，导致重复/漏数据。
• 翻页时排序序列不固定：每次翻页都重新执行查询，没有固定本次页面加载的随机基准，相当于每次翻页都重新洗一次牌，自然会出现重复商品。
• 额外冗余逻辑：第二个$project阶段投射的字段和前一个阶段完全一致，属于无用代码，可以直接删除。

修复方案 #

方案1：固定随机种子+稳定排序（中小数据量首选，改造成本低） #

核心思路是给单次页面加载生成一个固定的随机种子，同一次浏览的所有翻页请求都用这个种子生成随机排序值，再加唯一主键作为兜底排序键，保证排序顺序绝对稳定。
修改后的聚合代码如下：

// 首次页面加载时生成随机种子，返回给前端；后续翻页请求从参数中取该种子，同一次浏览seed保持不变
const randomSeed = Number(req.body.seed) || Math.floor(Math.random() * 1000000);

const matchRule = {
  $or: [
    {
      'main_data.product_name': {
        $regex: req.body.searchTerm,
        $options: 'i'
      }
    },
    {
      'main_data.product_code': {
        $regex: req.body.searchTerm,
        $options: 'i'
      }
    }
  ],
  'main_data.status': 'active',
}

const query = [
  { $unwind: '$main_material' },
  {
    $project: {
      product_name: 1,
      product_code: 1,
      main_material: 1,
      status:1,
      qty_per_box:1,
      city_state: { $split: ["$product_code", "-"] },
      qty: 1,
      price_usd: 1, // 补全排序需要的字段
      createdOn: 1
    }
  },
  // 删除冗余的第二个$project阶段
  { $group: { 
      _id: { "pc": "$city_state" }, 
      main_data: { "$first": "$$ROOT" }, 
      cdate: { "$first": "$createdOn" },
      price_usd: { $first: "$price_usd" } // 分组阶段保留排序需要的price_usd字段
    } 
  }, 
  { $match: matchRule },
  // 基于固定种子生成每个文档的随机排序值，同seed下同文档的随机值固定
  { $addFields: {
      randomSort: {
        $mod: [
          { $add: [ { $hashCode: "$_id" }, randomSeed ] },
          1000000
        ]
      }
    }
  },
  // 先按随机值排序，再按唯一_id兜底，保证排序顺序100%稳定
  { $sort: { "randomSort": 1, "_id": 1 } },
  { $skip: parseInt(req.params.skip) },
  { $limit: parseInt(req.body.items) },
]

const list = await Products_model.aggregate(query);
// 首次请求把randomSeed一起返回给前端，后续翻页请求带上该参数即可
res.json({ list, seed: randomSeed })

这个方案改造成本极低，只要保证同一次浏览的seed不变、加了_id作为兜底排序键，就不会再出现分页重复问题。

方案2：预存随机ID列表（大数据量首选，性能更优） #

如果你的商品总量超过10万，深度分页下$skip的性能会急剧下降，可以用这个方案：

• 首次加载页面时，先查出符合筛选条件的所有商品ID，在服务端打乱顺序后存入Redis（或本地内存缓存），设置10-15分钟的过期时间，给本次查询生成一个唯一的queryId返回给前端。
• 后续翻页时前端带上queryId，服务端直接从缓存的ID列表中按偏移量切片取对应区间的ID，再用$in: [id1, id2...]查询完整商品信息返回。
• 这种方案的随机列表在首次加载时就完全固定，翻页只是做数组切片，完全不会出现重复问题，性能也远高于$skip/$limit的深度分页。

注意：所有带分页的随机列表场景，都必须保证同一次浏览周期内的排序序列固定，只要翻页时重新洗牌，就必然存在重复/漏数据的概率。

内容的提问来源于stack exchange，提问作者Dushyant Dagar