MongoDB百万级嵌入式评论的一对多关系加载优化方案咨询

你当前把评论直接嵌套在帖子文档里的设计，在评论量达到数亿级时会遇到两个核心问题：一是单文档体积会远超MongoDB的16MB大小限制，二是一次性加载全部评论会占用极大内存和带宽，导致性能崩溃。针对这个场景，最优方案主要有以下几种：

1. 将评论拆分到独立集合（推荐） #

这是最适合超大规模评论场景的方案，和你熟悉的关系型数据库表关联逻辑类似：

• 集合设计：
  • posts集合只存储帖子核心信息：

    {
       _id: ObjectId("63173b1411db4b2f8e32f3cf"),
       title: "How to load data in mongoDB",
       // 其他帖子属性，比如发布时间、作者ID等
    }
    

  • comments集合每条文档对应一条评论，通过postId关联到所属帖子：

    {
       _id: ObjectId("xxxxxx"),
       postId: ObjectId("63173b1411db4b2f8e32f3cf"), // 关联帖子ID
       userId: ObjectId("63173b1411db4b2f8e32fcfb"),
       comment: "Thanks",
       createdAt: ISODate("2024-05-20T10:00:00Z") // 建议添加评论时间，用于排序和分页
    }
    

• 分页加载评论：
  避免一次性查询全部评论，采用分页方式加载。注意不要直接用skip()（大数据量下skip会扫描大量文档，性能极差），推荐用基于游标/时间戳的分页：

  // 加载第一页（最新的10条评论）
  db.comments.find({ postId: ObjectId("63173b1411db4b2f8e32f3cf") })
             .sort({ createdAt: -1 })
             .limit(10)
  
  // 加载下一页，以上一页最后一条评论的createdAt和_id作为游标（避免时间重复的情况）
  db.comments.find({ 
      postId: ObjectId("63173b1411db4b2f8e32f3cf"),
      $and: [
          { createdAt: { $lt: ISODate("2024-05-19T15:30:00Z") } },
          { _id: { $lt: ObjectId("xxxxxx") } }
      ]
  })
             .sort({ createdAt: -1 })
             .limit(10)
  

• 索引优化：给comments集合创建复合索引，提升查询性能：

  db.comments.createIndex({ postId: 1, createdAt: -1, _id: -1 })
  

2. 分桶模式（适合中等规模评论，不推荐数亿级） #

如果不想拆分集合，可以采用分桶模式，将评论按数量或时间分成多个子数组存储在帖子文档中：

{
   _id: ObjectId("63173b1411db4b2f8e32f3cf"),
   title: "How to load data in mongoDB",
   commentBuckets: [
        {
            bucketId: 1,
            createdAt: ISODate("2024-05-01T00:00:00Z"),
            comments: [/* 最多100条评论 */]
        },
        {
            bucketId: 2,
            createdAt: ISODate("2024-05-02T00:00:00Z"),
            comments: [/* 最多100条评论 */]
        }
   ]
}

加载时可以按桶分页，比如先加载最新的桶，再按需加载旧桶。但这种模式在评论数亿级时，帖子文档还是会变得极大，且维护桶的逻辑复杂，不推荐超大规模场景使用。

3. 结合读写分离与缓存 #

对于高频访问的热门帖子评论，可以将最新的N条评论缓存到Redis等缓存系统中，减少MongoDB的查询压力；同时采用读写分离架构，将评论查询请求分流到从节点，避免主节点过载。

内容的提问来源于stack exchange，提问作者Harsh Narwariya