如何优化MongoDB中带$match的$lookup聚合查询性能？

核心问题分析 #

当前$lookup使用带内部pipeline的关联方式，且内部$match依赖$expr做字段比较，这种写法无法有效利用Stock集合的索引，导致每条Product数据都要对Stock做全表扫描，数据量达到万级时性能急剧下降。

具体优化措施 #

1. 给Stock集合创建关联字段索引 #

Stock集合的关联键是item_id，必须为其创建索引，让$lookup能快速定位匹配数据：

db.Stock.createIndex({ item_id: 1 });

2. 简化$lookup写法，规避$expr的性能损耗 #

放弃使用带let和内部pipeline的$lookup，改用基础关联模式，直接通过localField和foreignField关联，MongoDB会自动调用Stock的item_id索引，大幅提升关联效率：

{
  '$lookup': {
    'from': 'Stock',
    'localField': 'item_id',
    'foreignField': 'item_id',
    'as': 'idList'
  }
}

提示：如果需要过滤Stock返回的字段，可以在关联后单独添加$project阶段，优先保证关联阶段的性能。

3. 提前过滤数据，减少关联量级 #

将后续的多条件$match拆分，把仅依赖Product字段的过滤逻辑移到$lookup之前，减少需要关联的Product条目数：

db.Product.aggregate([
  {'$sort': {'item_id': 1}},
  // 提前过滤Product数据，缩小关联范围
  {'$match': {'$or': [
    {'item_id': {'$in': [101, 103]}}, 
    {'item': {'$regex': 'bo', '$options': 'i'}}
  ]}},
  // 优化后的$lookup
  {'$lookup': {
    'from': 'Stock',
    'localField': 'item_id',
    'foreignField': 'item_id',
    'as': 'idList'
  }},
  {'$match': {'idList': {'$ne': []}}},
  {'$project': {
    'item_id': 1, 
    'desc': 1, 
    'quantity': {'$arrayElemAt': ['$idList.quantity', 0]}, 
    'price': {'$arrayElemAt': ['$idList.price', 0]}
  }},
  // 仅保留依赖Stock字段的过滤条件
  {'$match': {'$or': [
    {'quantity': {'$in': [20, 10]}}, 
    {'price': {'$in': [200, 50]}}
  ]}},
  {'$facet': {
    'itemCount': [{'$count': 'item_id'}], 
    'itemDetails': [
      {'$sort': {'quantity': 1, 'item_id': 1}}, 
      {'$skip': 0}, {'$limit': 10}
    ]
  }}
]);

4. 优化数组处理逻辑 #

如果每个item_id在Stock集合中是唯一的，可以用$unwind替代$arrayElemAt展开数组，让后续的过滤和排序操作更高效：

{'$lookup': {...}},
{'$match': {'idList': {'$ne': []}}},
{'$unwind': '$idList'}, // 展开数组（因item_id唯一，仅一条数据）
{'$project': {
  'item_id': 1, 
  'desc': 1, 
  'quantity': '$idList.quantity', 
  'price': '$idList.price'
}},

5. 验证索引使用情况 #

用explain()分析聚合查询，确认Stock的item_id索引是否被正确命中：

db.Product.aggregate([...]).explain("executionStats");

查看返回结果中的executionStats部分，确认$lookup阶段是否利用了索引。

额外性能优化建议 #

• 针对item字段的正则查询：如果查询是前缀匹配（如^bo），可以给item创建普通索引；如果是任意位置匹配，建议创建文本索引替代正则：

  db.Product.createIndex({ item: 'text' });
  

  然后用$text查询替代正则：{'$text': {'$search': 'bo'}}
• 分页优化：数据量大时$skip性能较差，建议采用基于游标分页的方式，比如以上一页最后一条记录的quantity和item_id作为条件，替代$skip + $limit。

内容的提问来源于stack exchange，提问作者Soumee Giri