MongoDB聚合查询中$lookup后加$group阶段出现无限处理问题

你的问题根源在于使用$lookup的方式效率太低，尤其是当集合规模较大时，每个文档都会触发一次子查询，大量不必要的查询会拖慢整个聚合流程，甚至导致无限处理的情况。我们可以通过调整聚合逻辑，先按plate整合数据，再进行计算和分组，这样能大幅提升效率。

优化后的聚合查询 #

db.getCollection('temp').aggregate([
  // 第一步：按plate分组，收集对应的company和所有sale的price
  {
    $group: {
      _id: "$plate",
      company: { $first: { $cond: [{ $eq: ["$_portfolioType", "account"] }, "$company", null] } },
      salePrices: { $push: { $cond: [{ $eq: ["$_portfolioType", "sale"] }, "$price", null] } }
    }
  },
  // 第二步：过滤掉没有company的分组（确保只保留有account记录的plate），并清理空的price值
  {
    $match: {
      company: { $ne: null },
      salePrices: { $ne: [] }
    }
  },
  {
    $addFields: {
      // 移除salePrices中的null值
      validPrices: { $filter: { input: "$salePrices", cond: { $ne: ["$$this", null] } } }
    }
  },
  // 第三步：计算每个plate的总revenue
  {
    $addFields: {
      plateRevenue: {
        $sum: {
          $map: {
            input: "$validPrices",
            as: "price",
            in: { $add: [{ $multiply: ["$$price", 100] }, 99] }
          }
        }
      }
    }
  },
  // 第四步：按company分组求和
  {
    $group: {
      _id: "$company",
      totalRevenue: { $sum: "$plateRevenue" }
    }
  }
])

优化逻辑说明 #

1. $group按plate聚合：

   • 用$first结合$cond提取该plate对应的company（只从_portfolioType: "account"的文档中取）
   • 用$push结合$cond收集该plate下所有_portfolioType: "sale"的price，非sale文档的price会存为null

2. 过滤无效数据：

   • 只保留有company的分组（确保这些plate有对应的account记录）
   • 用$filter清理salePrices中的null值，只保留有效的销售价格

3. 计算单plate的revenue：

   • 用$map对每个有效价格执行price*100 +99的计算，再用$sum求和得到该plate的总revenue

4. 按company分组求和：

   • 最后将同一company下所有plate的revenue相加，得到最终结果

原查询的问题分析 #

1. $lookup的低效性：

   • 原查询中每个文档都会执行一次$lookup子查询，对于_portfolioType: "sale"的文档，子查询里的{ $eq: [ "$$t", "account" ] }条件不成立，导致这些文档的revenues数组为空，后续的$arrayElemAt会得到null，不仅无效还浪费资源
   • 如果没有针对plate和_portfolioType建立索引，$lookup的子查询会做全集合扫描，性能极差

2. 数据冗余处理：

   • 原查询会保留所有原始文档（包括sale文档），再进行分组，导致需要处理大量冗余数据，加上$group阶段后，MongoDB需要处理的数据量暴增，从而出现无限处理的情况

另外，建议你给plate和_portfolioType字段建立复合索引：

db.temp.createIndex({ plate: 1, _portfolioType: 1 })

这能进一步提升聚合的性能，尤其是在处理大规模数据时。

内容的提问来源于stack exchange，提问作者Waqas