使用MongoDB聚合skip、limit、sort时出现重复记录求助

AI 小北

2026-7-8

问题

使用以下聚合查询实现每页15条数据的分页，但遍历分页结果时，会间歇性出现之前页面已有的重复orderNumber，有时早有时晚。

db.SomeTable.aggregate([
    {
        $match: {
            customerNumber: "XXXXX",
        },
    },
    {
        $sort: {
            orderPlacedDate: -1,
            orderNumber: -1
        },
    },
    {
        $skip: 15,
    },
    {
        $limit: 15,
    }
]);

数据库中orderPlacedDate是字符串类型（例如："20231012"）且存在大量重复，参考MongoDB文档添加了唯一的orderNumber作为排序字段，甚至换成_id，但重复问题仍存在，请问可能忽略了什么？

解决方案

分页期间数据发生变更：如果在分页查询的间隙，有数据被新增、删除或修改（比如orderPlacedDate或orderNumber字段被改动），会直接打乱排序结果的偏移量，导致后续页面出现重复数据。比如查完第一页后，有一条旧数据的日期被改成最新，它会出现在第二页，原本第二页的某条数据可能被挤到第三页，反过来也可能让之前的条目重复出现。
字符串排序的隐性异常：虽然orderPlacedDate是"YYYYMMDD"格式的字符串，表面排序正常，但如果存在格式不规范的数据（比如长度不足、包含非数字字符），MongoDB的字符串排序逻辑会让这些数据的位置不稳定，进而引发分页重复。先检查所有orderPlacedDate的格式是否完全统一。
未使用正确的复合索引：如果没有创建{customerNumber: 1, orderPlacedDate: -1, orderNumber: -1}这样的复合索引，MongoDB每次聚合都要做内存排序，数据量较大时可能因内存分配等因素导致排序结果出现微小差异，最终引发分页重复。可以用db.SomeTable.aggregate([...]).explain()查看执行计划，确认是否用到了目标索引。
skip分页的固有缺陷：skip在数据量大或数据有变更的场景下极易出现重复/漏数据问题。建议改用游标式分页：第一页查询完成后，记录最后一条数据的orderPlacedDate和orderNumber；下一页的$match条件改为：
```
{
    customerNumber: "XXXXX",
    $or: [
        { orderPlacedDate: { $lt: lastPageLastDate } },
        { 
            orderPlacedDate: lastPageLastDate, 
            orderNumber: { $lt: lastPageLastOrderNumber } 
        }
    ]
}
```
之后再执行sort和limit:15。这种方式通过查询条件精准定位下一页起点，完全避免了skip带来的问题。

内容的提问来源于stack exchange，提问作者Prashant Sedhain