MongoDB聚合查询优化：获取最新10个批次的分片统计数据

原方案的问题 #

你当前的聚合管道思路方向是对的（先取最近10个批次再关联分片），但存在明显性能短板：

• 普通$lookup会把每个批次对应的所有分片文档全量拉取到内存中，之后再用$filter和$size统计，当分片数量庞大时，内存开销和数据传输量会非常高
• 原管道里有个笔误：$filter中写的是$$chunk.status，但chunks集合的状态字段是state，这会导致待处理分片数统计始终为0

最优优化方案 #

改写$lookup为带内部聚合管道的版本，在关联分片集合时直接完成统计，避免拉取全量文档：

[
  {
    $sort: { start: -1 }
  },
  {
    $limit: 10
  },
  {
    $lookup: {
      from: "chunks",
      localField: "_id",
      foreignField: "batchId",
      as: "chunkStats",
      pipeline: [
        {
          $facet: {
            total: [{ $count: "value" }],
            pending: [{ $match: { state: "PENDING" } }, { $count: "value" }]
          }
        },
        {
          $project: {
            total: { $arrayElemAt: ["$total.value", 0] },
            pending: { $arrayElemAt: ["$pending.value", 0] }
          }
        },
        {
          $replaceWith: {
            $mergeObjects: [
              { total: 0, pending: 0 },
              "$$ROOT"
            ]
          }
        }
      ]
    }
  },
  {
    $unwind: "$chunkStats"
  },
  {
    $project: {
      _id: 1,
      start: 1,
      total: "$chunkStats.total",
      pending: "$chunkStats.pending"
    }
  }
]

优化点说明 #

1. 前置过滤优先：保持先$sort+$limit取最近10个批次的逻辑，完全利用batches集合的start:-1索引，快速定位目标数据
2. 关联时直接统计：在$lookup的内部管道中：
   • 用$facet并行统计当前批次的分片总数和待处理分片数，避免多次遍历
   • 用$arrayElemAt把$count返回的数组结果转为数值
   • 用$replaceWith+$mergeObjects处理无分片的批次，默认给0值避免null
3. 减少数据传输：只把统计后的两个数值返回给主管道，而非全量分片文档，内存占用和传输量骤降

索引利用验证 #

• batches集合的start:-1索引：直接用于$sort+$limit，无需全表扫描
• chunks集合的batchId:1索引：在$lookup内部的隐式匹配中被触发，快速定位对应批次的分片

内容的提问来源于stack exchange，提问作者Hernando Scheidl