MongoDB聚合查询：实现匹配结果分页计数并规避内存超限

需求 #

需要聚合查询返回包含两个字段的结构：

• items：过滤后的分页文档列表
• count：过滤后的总文档数
  最终输出格式示例：[{items: [<匹配的文档>], count: <总条数>}]

尝试方案及问题 #

方案1：使用$facet先全量匹配再分页 #

最初尝试用$facet先获取所有匹配文档，再通过$slice分页：

db.collection(<COLLECTION>).aggregate([
  { $facet: { items: [{ $match: <FILTER> }] } },
  {
    $project: {
      items: { $slice: ['$items', <SKIP>, <LIMIT>] },
      count: { $size: '$items' }
    }
  }
])

错误信息：

PlanExecutor error during aggregation :: caused by :: document constructed by $facet is 1049500 bytes, which exceeds the limit of 104857600 bytes

原因：大集合下$facet会把所有匹配文档加载到内存中，超出MongoDB的文档大小限制。

方案2：使用$group聚合所有文档 #

尝试用$group将所有匹配文档推送到数组中，再分页：

db.collection(<COLLECTION>).aggregate([
  { $match: <FILTER> },
  {
    $group: {
      _id: null,
      items: { $push: '$$ROOT' },
    },
  },
  {
    $project: {
      _id: 0,
      items: { $slice: ['$items', <SKIP>, <LIMIT>] },
      count: { $size: '$items' }
    }
  }
])

错误信息：

PlanExecutor error during aggregation :: caused by :: Used too much memory for a single array. Memory limit: 104857600 bytes. The array contains <ITEMS_LENGTH> elements and is of size <ITEMS_SIZE> bytes. The element being added has size <ITEM_SIZE> bytes.

原因：$push会将所有匹配文档存入单个数组，大集合下超出内存限制。

最终可行方案 #

将$match放在$facet外部先过滤数据，再通过$facet分两个并行分支处理：一个分支统计总条数，另一个分支处理分页，同时提前排序保证分页一致性：

db.collection(<COLLECTION>).aggregate([
  { $match: <FILTER> },
  { $sort: { <FIELD>: 1 } },
  {
    $facet: {
      count: [{ $count: 'count' }],
      items: [
        { $skip: <SKIP> },
        { $limit: <LIMIT> },
        { $project: { <FIELD>: 1 } }
      ]
    }
  }
])

原理：

1. 先通过$match过滤数据，减少后续处理的数据量
2. $sort确保分页结果的顺序稳定（skip/limit依赖排序，否则分页结果可能混乱）
3. $facet的两个分支并行处理：
   • count分支用$count直接统计过滤后的总条数，无需加载所有文档
   • items分支仅加载分页所需的文档，避免内存超限
4. 可选的$project可以只返回需要的字段，进一步减少数据量

内容的提问来源于stack exchange，提问作者rtritto