MongoDB单查询获取多集合活跃数据报错求助

你的报错是因为当前$lookup会拉取episodes集合中所有status=1的文档，当这些文档总大小超过MongoDB默认的100MB限制时就会触发该错误。而且你的查询逻辑完全没必要先拉取全量数据再分页，属于资源浪费。

优化后的查询语句 #

db.seasons.aggregate([
  { "$facet": {
    // 处理episodes集合
    "episodes": [
      { "$lookup": {
        "from": "episodes",
        "pipeline": [
          { "$match": { "status": 1 } },
          { "$sort": { "createdAt": -1 } },
          { "$limit": 20 } // 提前限制单集合返回数量，避免数据过载
        ],
        "as": "items"
      }},
      { "$unwind": "$items" },
      { "$replaceRoot": { "newRoot": "$items" } }
    ],
    // 处理movies集合
    "movies": [
      { "$lookup": {
        "from": "movies",
        "pipeline": [
          { "$match": { "status": 1 } },
          { "$sort": { "createdAt": -1 } },
          { "$limit": 20 }
        ],
        "as": "items"
      }},
      { "$unwind": "$items" },
      { "$replaceRoot": { "newRoot": "$items" } }
    ],
    // 处理shows集合
    "shows": [
      { "$lookup": {
        "from": "shows",
        "pipeline": [
          { "$match": { "status": 1 } },
          { "$sort": { "createdAt": -1 } },
          { "$limit": 20 }
        ],
        "as": "items"
      }},
      { "$unwind": "$items" },
      { "$replaceRoot": { "newRoot": "$items" } }
    ],
    // 处理seasons自身集合（不需要可删除）
    "seasons": [
      { "$match": { "status": 1 } },
      { "$sort": { "createdAt": -1 } },
      { "$limit": 20 }
    ]
  }},
  // 合并所有集合的结果
  { "$project": {
    "allData": { "$concatArrays": [ "$episodes", "$movies", "$shows", "$seasons" ] }
  }},
  { "$unwind": "$allData" },
  { "$replaceRoot": { "newRoot": "$allData" } },
  // 全局排序后取最终20条
  { "$sort": { "createdAt": -1 } },
  { "$limit": 20 }
])

关键优化点 #

• 提前限制单集合数据量：在每个集合的$lookup管道内先做$limit，只拉取最多20条最新数据，避免全量加载导致内存超限。
• 先过滤再排序：每个集合先通过$match筛选活跃数据，再按createdAt排序，最后限制数量，逻辑更高效。
• 可选包含自身集合数据：如果需要seasons集合自己的活跃记录，保留seasons分支；不需要则直接删除。

性能提升建议 #

给每个集合的status和createdAt字段建立复合索引，大幅提升$match和$sort的执行速度：

// 给episodes集合建索引
db.episodes.createIndex({ status: 1, createdAt: -1 })
// 给movies集合建索引
db.movies.createIndex({ status: 1, createdAt: -1 })
// 给shows集合建索引
db.shows.createIndex({ status: 1, createdAt: -1 })
// 给seasons集合建索引
db.seasons.createIndex({ status: 1, createdAt: -1 })

内容的提问来源于stack exchange，提问作者Sudhir