MongoDB 4.2.20聚合分页提取distinct plate值时重复问题排查

问题根源 #

• MongoDB 4.2.x版本中，$group阶段的输出结果是无固定顺序的——哪怕你在$group之前执行了$sort，也无法保证分组后的结果维持原有排序规则。
• 当你用$skip+$limit实现分页时，每次查询的分组结果顺序可能随机变化，这就导致第二页及后续页面会出现之前已经返回过的plate值。

修复方案 #

在$group之后、$skip之前，新增一个基于_id（也就是你要提取的plate字段）的排序阶段，确保分组后的结果顺序完全固定，这样分页逻辑就能稳定工作。

修正后的聚合管道：

[
   {
      "$match":{
         "$and":[
            {
               "tenant":"aq"
            },
            {
               "timestamp":{
                  "$gte":1697407200000,
                  "$lte":1697580059999
               }
            }
         ]
      }
   },
   {
      "$group":{
         "_id":"$plate"
      }
   },
   {
      "$sort":{
         "_id":1
      }
   },
   {
      "$skip":0
   },
   {
      "$limit":40
   }
]

额外优化 #

• 原管道中$match的timestamp条件可以合并成一个，减少语法冗余，不影响查询效果。
• 原$group前的$sort完全没必要保留——分组操作会打乱原有排序，去掉后能提升查询性能。

内容的提问来源于stack exchange，提问作者Stefania