MongoDB百万级集合子文档分组查询性能优化求助

问题核心分析 #

当前管道的性能瓶颈集中在$unwind+$group的组合逻辑：$unwind会将每个文档的locations数组拆分为大量独立文档（百万级原始文档若包含多组locations，中间文档量会数倍膨胀），后续$group用$addToSet去重需要遍历所有中间文档，内存开销和计算量极大，且该阶段无法利用索引优化。

优化方案 #

1. 替换低效逻辑，改用数组原生操作 #

通过在单文档内先过滤、提取目标数据，再合并去重，彻底避免中间文档爆炸：

[
  // 过滤包含符合条件location的文档（依赖正确索引）
  { "$match": { "locations.supplyType": "D" } },
  // 单文档内过滤出supplyType=D的location，并提取所需字段
  {
    "$project": {
      "targetLocations": {
        "$map": {
          "input": {
            "$filter": {
              "input": "$locations",
              "cond": { "$eq": ["$$this.supplyType", "D"] }
            }
          },
          "in": {
            "vendNum": "$$this.vendNum",
            "vendOtltName": "$$this.vendOtltName",
            "zone": "$$this.zone",
            "zoneName": "$$this.zoneName",
            "vendSAcc": "$$this.vendSAcc",
            "costArea": "$$this.costArea"
          }
        }
      },
      "_id": 0
    }
  },
  // 将所有文档的目标location数组合并为二维数组
  { "$group": { "_id": null, "allLocations": { "$push": "$targetLocations" } } },
  // 扁平化数组并去重（MongoDB按对象全字段匹配判断唯一性）
  {
    "$project": {
      "costAreas": {
        "$reduce": {
          "input": "$allLocations",
          "initialValue": [],
          "in": { "$setUnion": ["$$value", "$$this"] }
        }
      },
      "_id": 0
    }
  }
]

2. 修正索引配置，确保$match阶段高效过滤 #

• 确认已创建嵌套字段的单字段索引：db.collection.createIndex({"locations.supplyType": 1})，原描述中的"supplyType字段索引"若为顶级字段索引，对当前$match无作用，需替换。
• 删除location子文档所有字段的复合索引，当前优化后的管道不会用到该索引，保留只会增加写入开销。

3. 预计算结果（针对频繁查询场景） #

若该查询是周期性执行、对实时性要求不高，可定期将聚合结果写入新集合，后续直接读取新集合即可：

// 执行聚合并将结果写入cost_areas集合
db.collection.aggregate([
  // 上述优化后的管道步骤
], { "out": "cost_areas" })

// 后续查询直接读取结果
db.cost_areas.findOne({}, { "_id": 0 })

4. 临时内存配置调整 #

若临时无法修改管道，可开启磁盘辅助存储避免内存溢出（仅为应急方案，无法从根本解决性能问题）：

db.collection.aggregate([
  // 原管道步骤
], { allowDiskUse: true })

内容的提问来源于stack exchange，提问作者NKS