MongoDB 4.0多Post集合按createdAt合并分页最佳实践咨询

方案一：预聚合到统一中间集合（推荐高并发场景） #

• 核心思路：通过定时同步任务，将各业务集合的帖子数据合并到一个统一的CombinedPosts集合，后续查询直接操作该集合
• 操作步骤：
  1. 定义中间集合结构，保留原类型标识和所有字段，示例：

     {
       _id: ObjectId("..."),
       postType: "house", // 标记原集合类型，用于后续区分业务
       title: "XX小区精装两居室出售",
       content: "...",
       createdAt: ISODate("2024-05-20T10:00:00Z"),
       // 原集合专属字段直接保留或嵌套存储
       area: 80,
       salaryRange: "15k-20k" // 仅JobMarketPost有此字段
     }
     

  2. 编写定时脚本（如Node.js、Python），定期同步各集合的新增/更新数据到CombinedPosts，可通过createdAt过滤增量数据，避免全量同步
  3. 查询时直接对中间集合排序分页，性能最优：

     db.CombinedPosts.find()
       .sort({ createdAt: -1 })
       .skip(10 * (pageNum - 1)) // 假设页大小10
       .limit(10)
     

• 适用场景：对数据实时性要求不高（如允许5-10分钟延迟）、高并发查询的首页展示
• 优缺点：查询性能拉满，但存在数据延迟，需维护同步任务

方案二：应用层拉取候选数据后合并排序（实时性优先） #

• 核心思路：给每个业务集合拉取足够多的候选数据，在应用层合并后二次排序再分页，解决当前方案顺序混乱的问题
• 操作步骤：
  1. 确定候选数据量：假设每页展示N条数据，给每个集合拉取N * K条（K建议取2-3，可根据数据分布调整），确保覆盖前N条的所有可能候选
  2. 并行查询所有集合，示例代码（Node.js）：

     const pageSize = 10;
     const candidateSize = pageSize * 2;
     
     // 并行查询各集合的最新候选数据
     const [housePosts, jobPosts] = await Promise.all([
       db.HouseMarketPost.find().sort({ createdAt: -1 }).limit(candidateSize).toArray(),
       db.JobMarketPost.find().sort({ createdAt: -1 }).limit(candidateSize).toArray()
     ]);
     
     // 合并后按createdAt倒序排序
     const sortedPosts = [...housePosts, ...jobPosts].sort((a, b) => b.createdAt.getTime() - a.createdAt.getTime());
     
     // 截取当前页数据
     const currentPagePosts = sortedPosts.slice((pageNum - 1) * pageSize, pageNum * pageSize);
     

• 适用场景：要求数据实时展示、数据量不大或各集合数据分布相对均匀的场景
• 优缺点：数据无延迟，实现简单，但集合数量多或数据分布极端时，候选数据量会增大，占用更多内存

方案三：全量查询合并（仅小数据量场景） #

• 若各集合总数据量不大，可直接查询所有集合的全部数据，合并排序后分页。此方案仅适合数据量极小的情况，不推荐用于生产环境高并发场景。

内容的提问来源于stack exchange，提问作者Kent Wood