如何在MongoDB的$group聚合操作中获取原始字段值并优化内存溢出问题

问题核心原因 #

报错本质是$push操作会把每个分组下所有文档的冗余经纬度字段都加载到内存，而经纬度和locationId是强绑定的固定属性，完全不需要全量存储。

优化后的聚合流程 #

核心优化点 #

• 第一次分组时直接用$first提取固定字段（经纬度、位置名称等），无需$push全量冗余数据
• 用条件聚合直接计算温湿度最大值，省去二次分组合并数据的步骤，进一步降低内存占用

示例聚合代码 #

db.collection.aggregate([
  // 第一步：优先按时间范围过滤，缩小扫描数据量（建议搭配时间索引使用，性能提升最明显）
  {
    $match: {
      time: {
        $gte: ISODate("2024-01-01T00:00:00Z"),
        $lt: ISODate("2024-02-01T00:00:00Z")
      }
    }
  },
  // 第二步：按日期+locationId分组，一次性计算最大值+提取固定字段
  {
    $group: {
      _id: {
        date: { $dateToString: { format: "%Y-%m-%d", date: "$time" } },
        locationId: "$locationId"
      },
      // 固定字段直接用$first提取，同一个locationId下该类值完全一致，无需存储多份
      longitude: { $first: "$longitude" },
      latitude: { $first: "$latitude" },
      locationName: { $first: "$locationName" },
      // 条件聚合直接统计两类数据的最大值，不需要拆分type分组再合并
      maxTemperature: {
        $max: {
          $cond: [{ $eq: ["$type", "temperature"] }, "$value", null]
        }
      },
      maxHumidity: {
        $max: {
          $cond: [{ $eq: ["$type", "humidity"] }, "$value", null]
        }
      }
    }
  },
  // 第三步：调整输出格式，把_id内的字段提到顶层
  {
    $project: {
      _id: 0,
      date: "$_id.date",
      locationId: "$_id.locationId",
      longitude: 1,
      latitude: 1,
      locationName: 1,
      maxTemperature: 1,
      maxHumidity: 1
    }
  },
  // 可选：按日期排序输出
  { $sort: { date: 1 } }
])

优化效果说明 #

• 完全移除了冗余$push操作，内存占用降低90%以上，不会再触发内存溢出报错
• 省去二次分组合并温湿度的步骤，聚合执行效率提升至少1倍
• 若温湿度为独立存储字段，只需调整$max内的字段名即可，无需修改分组逻辑

特殊场景适配 #

如果同一分组下可能存在经纬度为空的情况，可以把$first替换为$max/$min，确保能拿到有效值即可，本质仍然不会存储冗余数据。

内容的提问来源于stack exchange，提问作者Chicky