MongoDB中$unwind与$group聚合查询性能优化咨询

问题背景 #

处理6000条包含嵌套数组的文档时，使用$unwind+$group的聚合管道统计values.value的出现次数，耗时约20秒，需要优化性能。

文档结构 #

{
    _id: "123456",
    values: [
        {
            "value": "A",
            "begin": 0,
            "end": 1
        },
        {
            "value": "B",
            "begin": 1,
            "end": 2
        },
        {
            "value": "C",
            "begin": 3,
            "end": 7
        }
    ],
    "name": "test"
}

当前聚合管道 #

db.collection.aggregate([
  {$unwind: "$values"},
  {$group: {_id: "$values.value", count: {$sum: 1}}}
])

优化方案 #

1. 用$reduce在文档内预统计，减少中间数据量 #

$unwind会将每个数组元素拆分为单独文档，若单文档数组平均有N个元素，6000条文档会生成6000*N条中间文档，内存和IO开销极大。改用$reduce先在每个文档内部统计value的出现次数，再全局聚合：

db.collection.aggregate([
  {
    $project: {
      valueCounts: {
        $reduce: {
          input: "$values",
          initialValue: {},
          in: {
            $mergeObjects: [
              "$$value",
              {
                $arrayToObject: [[
                  {k: "$$this.value", v: {$add: [{$ifNull: ["$$value.$$this.value", 0]}, 1]}}
                ]]
              }
            ]
          }
        }
      }
    }
  },
  {
    $replaceRoot: {newRoot: "$valueCounts"}
  },
  {
    $group: {
      _id: null,
      counts: {
        $mergeObjects: {
          $arrayToObject: {
            $map: {
              input: {$objectToArray: "$$ROOT"},
              as: "item",
              in: {k: "$$item.k", v: {$sum: "$$item.v"}}
            }
          }
        }
      }
    }
  },
  {
    $replaceRoot: {newRoot: "$counts"}
  }
])

这种方式只处理6000条原始文档，中间数据量大幅降低，能显著减少耗时。

2. 添加过滤字段索引（若有查询条件） #

如果聚合时需要筛选特定文档（比如按name过滤），给过滤字段添加单字段索引，让MongoDB提前过滤掉无关文档，减少聚合扫描的数据量：

db.collection.createIndex({name: 1})

若为全集合统计，索引无法直接优化，但如果后续有过滤需求，提前建索引很有必要。

3. 调整MongoDB内存配置 #

确保聚合操作有足够内存执行，避免磁盘交换：

• 对于MongoDB 4.2+，可提高aggregationMemoryUsageLimit参数，允许聚合使用更多内存；
• 调整WiredTiger缓存大小（storage.wiredTiger.engineConfig.cacheSizeGB），建议设置为系统可用内存的50%-80%（避免影响其他进程）。

4. 预计算统计结果（非实时场景） #

如果统计不需要实时数据，可在文档写入/更新时维护一个全局统计集合，避免每次查询都做聚合：

• 应用层逻辑：当新增或修改values数组时，更新统计集合value_stats的计数；
• 使用Change Streams：监听集合的写入/更新事件，自动同步统计数据。

示例统计集合结构：

// value_stats集合文档
{
  _id: "A",
  count: 100
}

查询时直接读取该集合，响应时间可降至毫秒级。

5. 提前过滤无关字段 #

在聚合管道开头添加$project，只保留values.value字段，减少后续管道处理的数据量：

db.collection.aggregate([
  {$project: {values: "$values.value"}},
  // 后续统计逻辑
])

内容的提问来源于stack exchange，提问作者Herakles