MongoDB嵌套聚合查询执行过慢，如何进行优化？

问题背景 #

拥有百万级文档的集合，使用嵌套聚合关联多集合时，单条数据查询耗时近1分钟，原查询语句如下：

[  {
    "$match": {
      "product_id": "155",
    }
  },
  {
    "$lookup": {
      "from": "Myusers",
      "let": {
        "localField": "$userId"
      },
      "pipeline": [
        {
          "$match": {
            "$expr": {
              "$eq": [
                "$_id",
                "$$localField"
              ]
            }
          }
        },
        {
          "$lookup": {
            "from": "Market",
            "let": {
              "userId": "$_id"
            },
            "pipeline": [
              {
                "$match": {
                  "$expr": {
                    "$and": [
                      {
                        "$eq": [
                          "$userId",
                          "$$userId"
                        ]
                      },
                      {
                        "$eq": [
                          "$event_id",
                          155
                        ]
                      }
                    ]
                  }
                }
              },
              {
                "$lookup": {
                  "from": "member_groups",
                  "localField": "groups",
                  "foreignField": "_id",
                  "as": "groups"
                }
              }
            ],
            "as": "market"
          }
        }
      ],
      "as": "Myusers"
    }
  },
  {
    "$unwind": "$Myusers"
  },
  {
    "$facet": {
      "finalData": [
        {
          "$skip": 0
        },
        {
          "$limit": 1
        },
        {
          "$project": {
            "userId": "$Myusers._id",
            "community": "$Myusers.market",
          }
        }
      ]
    }
  },
  {
    "$project": {
      "finalData": "$finalData",
    }
  }
]

优化措施 #

1. 添加针对性索引（核心优化）

索引缺失是慢查询的主要原因，直接添加以下索引：

• 主集合：为product_id创建单键索引，加速初始过滤

  db.your_main_collection.createIndex({product_id: 1})
  

• Market集合：创建userId+event_id复合索引，匹配嵌套查询中的过滤条件

  db.Market.createIndex({userId: 1, event_id: 1})
  

• member_groups的_id默认有主键索引，无需额外创建；Myusers的_id同样默认有主键索引，满足关联需求。

2. 简化嵌套Lookup结构

原查询用嵌套Pipeline实现Lookup，可改为更高效的直接关联方式，减少MongoDB的计算开销：

• 将第一个Lookup改为localField+foreignField的简单关联，替代Pipeline+Expr的复杂写法
• 把嵌套在Myusers Pipeline中的Market查询拉到外层聚合，降低嵌套层级

3. 移除冗余聚合阶段

原查询中的$facet完全多余（仅用于单分支的Skip+Limit），直接在外层聚合使用$limit和$skip即可；合并重复的$project阶段，只保留需要的字段，减少数据传输。

优化后的查询语句示例：

[
  {
    "$match": {
      "product_id": "155"
    }
  },
  {
    "$lookup": {
      "from": "Myusers",
      "localField": "userId",
      "foreignField": "_id",
      "as": "Myusers"
    }
  },
  {
    "$unwind": "$Myusers"
  },
  {
    "$lookup": {
      "from": "Market",
      "let": {
        "userId": "$Myusers._id",
        "event_id": 155
      },
      "pipeline": [
        {
          "$match": {
            "$expr": {
              "$and": [
                {"$eq": ["$userId", "$$userId"]},
                {"$eq": ["$event_id", "$$event_id"]}
              ]
            }
          }
        },
        {
          "$lookup": {
            "from": "member_groups",
            "localField": "groups",
            "foreignField": "_id",
            "as": "groups"
          }
        }
      ],
      "as": "Myusers.market"
    }
  },
  {
    "$limit": 1
  },
  {
    "$project": {
      "userId": "$Myusers._id",
      "community": "$Myusers.market",
      "_id": 0 // 排除不需要的字段，减少数据量
    }
  }
]

4. 游标分批获取大量数据

如果需要获取百万级记录，禁止一次性拉取所有数据，使用游标分批迭代处理，避免内存溢出和超时：

const cursor = db.your_main_collection.aggregate(/* 优化后的聚合查询，移除limit */);
while (cursor.hasNext()) {
  const batch = cursor.nextBatch(1000); // 每次处理1000条数据
  // 在此处编写批量数据的处理逻辑
}

5. 可选：数据模型重构

如果多集合关联查询频繁且性能始终不佳，可以考虑反范式化：

• 将Market的常用字段嵌入Myusers集合
• 把member_groups的核心信息嵌入Market文档
  通过减少关联查询次数，从根本上提升查询效率。

内容的提问来源于stack exchange，提问作者naive_user