MongoDB多$first分组查询性能劣于单$first的原因及覆盖索引问题

1. 多$first查询更慢的原因 #

• 索引数据处理开销更高：多$first查询需要从覆盖索引中提取多个字段的$first值，MongoDB在分组阶段要为每个分组维护多个字段的最新状态，相比单$first，内存占用和计算量都更大，在2000万条数据的量级下，这种开销会被显著放大。
• 索引体积与IO压力增加：包含多个目标字段的覆盖索引本身体积更大，磁盘读取时需要加载更多的索引数据，IO开销上升，导致整体查询耗时增加。
• 分组逻辑复杂度提升：多字段$first的分组逻辑需要对每个分组内的多条数据进行多字段的比较和记录，相比单字段$first，内部处理步骤更多，执行效率自然下降。

2. 单$first（针对payload对象）实现覆盖索引的方案 #

要实现针对payload的单$first查询使用覆盖索引，核心是让查询所需的所有字段都包含在索引中，具体操作如下：

步骤1：创建复合覆盖索引 #

创建以分组字段为前缀、排序字段（用于确定“最新”）为后续项，同时包含payload字段的复合索引。假设用于判断最新的字段是updatedAt（时间戳字段，值越大越新），索引创建命令如下：

db.yourCollection.createIndex(
  { learnerId: 1, organizationId: 1, learningPackageId: 1, updatedAt: -1 },
  { include: ["payload"] }
)

• 前缀的三个分组字段保证MongoDB能快速按分组维度聚合数据；
• updatedAt: -1按时间降序排列，确保每个分组内的第一条数据就是最新的；
• include: ["payload"]将payload字段纳入索引，避免查询时读取原始文档。

步骤2：优化聚合查询语句 #

聚合查询需先利用索引排序，再分组取$first，确保MongoDB能完全使用索引数据：

db.yourCollection.aggregate([
  { 
    $sort: { 
      learnerId: 1, 
      organizationId: 1, 
      learningPackageId: 1, 
      updatedAt: -1 
    } 
  },
  {
    $group: {
      _id: {
        learnerId: "$learnerId",
        organizationId: "$organizationId",
        learningPackageId: "$learningPackageId"
      },
      latestPayload: { $first: "$payload" }
    }
  }
])

• $sort阶段完全匹配索引的顺序，MongoDB会直接使用索引排序，无需额外内存排序；
• $group阶段从索引中直接提取每个分组的第一条payload数据，全程无需读取原始文档，实现覆盖索引的效果。

注意事项 #

• 如果payload是体积较大的对象，索引的整体体积会增加，可能影响索引的加载效率，可根据业务需求考虑只包含payload中需要的子字段（而非整个对象）来缩小索引体积；
• 确保查询中没有引用索引之外的字段，否则MongoDB会触发文档读取，破坏覆盖索引的效果。

内容的提问来源于stack exchange，提问作者Stefan