MongoDB分页加载重复文档问题排查求助

模型定义 #

const mongoose = require("mongoose");
const Schema = mongoose.Schema;

const LoungeSchema = new Schema(
  {
    name: {
      type: String,
    },
    public_or_private: {
      type: String,
      enum: ["PUBLIC", "PRIVATE"],
    },
  },
  { timestamps: true }
);

module.exports = Channel = mongoose.model("lounge", LoungeSchema);

分页查询函数 #

const TEST_getXNumberOfPublicLounges =
  async function TEST_getXNumberOfPublicLounges(page, results_per_page) {
    results_per_page = parseInt(results_per_page);
    const search_option = {
      public_or_private: "PUBLIC",
    };

    const x_number_of_public_lounges = await Lounge.find(search_option)
      .and(search_option)
      .select("_id")
      .sort({ updatedAt: -1 })
      .limit(results_per_page)
      .skip(results_per_page * page)
      .lean();

    return x_number_of_public_lounges;
  };

问题表现：部分文档ID随机出现在不同分页结果中，注释掉sort({ updatedAt: -1 })后问题消失，但该排序是业务必需的。

问题原因 #

当多个文档的updatedAt字段值完全相同时，MongoDB对这类文档的排序是不稳定的——每次查询时，这些文档的返回顺序可能随机变化。而分页逻辑依赖skip+limit分割结果集，这种随机顺序会导致部分文档在不同页码被重复返回，或者某些文档被跳过。

去掉排序后，MongoDB默认按文档的_id字段排序（_id全局唯一且生成顺序稳定），所以分页结果不会出现重复。

解决方法 #

1. 补充唯一排序字段，让排序逻辑稳定

在排序条件中添加_id作为第二排序维度，利用_id的唯一性确保相同updatedAt的文档顺序固定：

// 修改sort部分，添加_id作为次要排序键
.sort({ updatedAt: -1, _id: -1 })

这里_id: -1表示和updatedAt保持倒序，也可以根据需求选择_id: 1，只要保证顺序固定即可。

2. 移除冗余的查询条件

代码中的.and(search_option)属于冗余逻辑，find(search_option)已经指定了查询条件，重复添加不会增强查询效果，反而增加不必要的开销，建议直接移除：

// 优化后的查询代码
const x_number_of_public_lounges = await Lounge.find(search_option)
  .select("_id")
  .sort({ updatedAt: -1, _id: -1 })
  .limit(results_per_page)
  .skip(results_per_page * page)
  .lean();

内容的提问来源于stack exchange，提问作者AG_HIHI