Mongo聚合报错：BufBuilder超出64MB限制问题求助

这个错误的核心原因是：你的聚合管道在$group阶段使用$push: "$$ROOT"，把同一tId下的所有匹配文档都推入数组。当某个tId对应的文档数量过多时，生成的单组分组文档大小超过了MongoDB单个文档64MB的硬性上限，触发了BufBuilder扩容失败的报错。

下面是几种可行的解决办法：

1. 提前过滤字段，减少分组数据体积 #

不要直接推送完整的$$ROOT文档，先通过$project只保留后续处理需要的字段，大幅降低每个分组数组的大小：

const pipeline = [
  {
    $match: {
      bId: new ObjectId(id),
      updatedAt: { $gte: startTime, $lte: endTime },
    },
  },
  // 先过滤掉不需要的字段，减少后续分组的数据量
  {
    $project: {
      tId: 1,
      _id: 1,
      status: 1
    }
  },
  {
    $group: {
      _id: "$tId",
      e: { $push: "$$ROOT" },
    },
  },
];

const cursor2 = await db
  .collection("emails")
  .aggregate(pipeline, { allowDiskUse: true, batchSize: 100 });

2. 移到应用层分组，规避单文档大小限制 #

如果某个tId下的文档数量极多，哪怕只保留必要字段还是会超64MB，那就放弃在Mongo端分组，改成在应用层做分组处理：

// 直接查询匹配文档，只返回需要的字段
const cursor = await db.collection("emails").find(
  {
    bId: new ObjectId(id),
    updatedAt: { $gte: startTime, $lte: endTime },
  },
  {
    projection: { tId: 1, _id: 1, status: 1 },
    batchSize: 100
  }
);

// 应用层按tId分组
const groupedData = new Map();
await cursor.forEach(doc => {
  const list = groupedData.get(doc.tId) || [];
  list.push({ _id: doc._id, status: doc.status });
  groupedData.set(doc.tId, list);
});

// 遍历分组数据进行批量处理
for (const [tId, docs] of groupedData.entries()) {
  // 这里编写你的批量处理逻辑
}

3. 添加复合索引优化查询性能 #

确保bId和updatedAt字段有复合索引，让$match阶段能快速过滤数据，减少聚合管道需要处理的数据量：

// 创建复合索引
await db.collection("emails").createIndex({ bId: 1, updatedAt: 1 });

内容的提问来源于stack exchange，提问作者Abhishek Bansal