如何在MongoDB聚合查询中添加自增字段？解决内存问题

你的问题出在$setWindowFields的$documentNumber操作上——它需要把所有匹配的文档加载到内存中完成全局排序和序号计算，数据量一大就会爆内存。以下是几个针对性的优化方案：

优化方案1：提前缩减数据规模 #

在聚合流程的最前端就过滤掉不需要的文档，并且精简每个步骤处理的数据字段，从根源减少内存占用：

[
  // 先过滤掉不需要的文档，比如按存在性、状态等条件筛选
  { $match: { empId: { $exists: true }, studentId: { $exists: true } } },
  // 精简lookup，只拉取必要字段，避免加载全量关联文档
  {
    $lookup: {
      from: "employee",
      localField: "empId",
      foreignField: "_id",
      as: "employee",
      pipeline: [{ $project: { _id: 1 } }]
    }
  },
  { $unwind: "$employee" },
  {
    $lookup: {
      from: "student",
      localField: "studentId",
      foreignField: "_id",
      as: "student",
      pipeline: [{ $project: { _id: 1 } }]
    }
  },
  { $unwind: "$student" },
  // 只保留排序所需的_id字段，进一步缩小数据体积
  { $project: { _id: 1 } },
  {
    $setWindowFields: {
      sortBy: { _id: 1 },
      output: { incNum: { $documentNumber: {} } }
    }
  },
  { $addFields: { incNum: { $toString: "$incNum" } } },
  { $project: { incNum: 1 } }
]

优化方案2：客户端生成自增序号 #

如果数据量极大，完全不适合在服务器端做全局序号计算，可以改用分页查询，把内存压力转移到客户端：

• 每次用$limit+$skip分页拉取N条文档
• 客户端维护起始序号（比如第1页从1开始，第2页从N+1开始），给每个返回的文档手动赋值incNum
• 这种方式不会让MongoDB加载全量数据到内存，适合超大数据集

优化方案3：改用$group+$unwind模拟自增（适合中小数据集） #

如果数据量不算特别大，也可以用这种方式绕开$setWindowFields，但本质还是会加载全量数据，仅作为替代选项：

[
  { $lookup: { /* 保留原有lookup配置，或同样精简字段 */ } },
  { $unwind: "$employee" },
  { $lookup: { /* 保留原有lookup配置，或同样精简字段 */ } },
  { $unwind: "$student" },
  // 将所有文档聚合为一个数组
  { $group: { _id: null, docs: { $push: "$$ROOT" } } },
  // 展开数组并带上数组索引（从0开始）
  { $unwind: { path: "$docs", includeArrayIndex: "incNum" } },
  // 索引加1，转换为从1开始的自增数
  { $addFields: { incNum: { $add: ["$incNum", 1] } } },
  { $replaceRoot: { newRoot: "$docs" } },
  { $addFields: { incNum: { $toString: "$incNum" } } },
  { $project: { incNum: 1 } }
]

内容的提问来源于stack exchange，提问作者Aks