MongoDB聚合获取各internal_id最新数据过慢，求索引优化方案

从你提供的日志和查询信息来看，当前聚合查询的性能瓶颈很明确——全局全量排序。让我们一步步拆解问题，然后给出针对性的优化方案。

原查询的问题分析 #

你当前的聚合管道是先对整个150万条数据按timestamp降序排序，再分组取每个internal_id的第一个文档。虽然你建了{timestamp: -1, internal_id: 1}索引，但日志显示keysExamined和docsExamined都等于集合总数据量，说明MongoDB需要扫描所有文档完成全局排序，再逐个遍历排序后的结果进行分组。这种全量排序+遍历的操作在150万数据量级下，耗时7-10秒是必然的。

优化方案：换一种聚合思路 #

我们可以避免全局排序，转而先获取每个internal_id对应的最大timestamp，再通过关联查询获取对应的完整文档。这种方式的性能会大幅提升，具体管道如下：

db.locations.aggregate([
  // 第一步：按internal_id分组，获取每个组的最新timestamp
  {
    $group: {
      _id: "$internal_id",
      latestTimestamp: { $max: "$timestamp" }
    }
  },
  // 第二步：关联原集合，匹配对应internal_id和最新timestamp的文档
  {
    $lookup: {
      from: "locations",
      let: { internalId: "$_id", ts: "$latestTimestamp" },
      pipeline: [
        {
          $match: {
            $expr: {
              $and: [
                { $eq: ["$internal_id", "$$internalId"] },
                { $eq: ["$timestamp", "$$ts"] }
              ]
            }
          }
        },
        // 可选：如果同一internal_id+timestamp存在多个文档，只取第一个（和原查询行为一致）
        { $limit: 1 }
      ],
      as: "latestDoc"
    }
  },
  // 将数组格式的结果转为单个文档
  { $unwind: "$latestDoc" },
  // 调整输出格式为原查询的结构（返回完整文档）
  { $replaceRoot: { newRoot: "$latestDoc" } }
])

为什么这个方案更快？ #

1. 避免全局排序：第一步的$group操作不需要对全量数据排序，MongoDB可以利用你已有的{internal_id: 1, timestamp: -1}索引，快速遍历每个internal_id组并提取最大的timestamp，无需扫描该组的所有文档。
2. 精准关联查询：第二步的$lookup会针对每个internal_id，通过{internal_id: 1, timestamp: -1}索引精准定位到对应文档，而非全量扫描。

索引优化建议 #

• 保留{internal_id: 1, timestamp: -1}索引：它是当前优化方案的核心，同时满足第一步$group的高效遍历和第二步$lookup的精准查询需求。
• 考虑删除{timestamp: -1, internal_id: 1}索引：该索引对优化后的查询没有帮助，保留会增加日常写入时的索引维护开销。

额外验证 #

执行优化后的查询后，你可以查看MongoDB日志，对比keysExamined和docsExamined的数值——它们应该远小于集合总数据量，耗时也会降到秒级甚至更低。

内容的提问来源于stack exchange，提问作者Adam C.