MongoDB聚合操作丢失文档问题：聚合结果仅返回部分文档

让我们一步步拆解你的问题，找出文档丢失的原因：

先确认基础数据准确性 #

首先别着急看聚合逻辑，先搞清楚两个集合的真实文档数——有时候count()方法可能因为索引或历史数据有误差，用更准确的countDocuments()来统计：

// 统计原集合packs的准确文档数
db.packs.countDocuments({})

// 统计聚合后的updatedpacks文档数
db.updatedpacks.countDocuments({})

如果这两个数字的差和你说的141→46一致，再往下排查。

检查聚合中间阶段的结果 #

你的聚合用了$addFields→$project→$out三个阶段，问题可能出在前两个阶段（$out只是写入结果，不会过滤文档）。先去掉$out，直接查看前两个阶段的输出数量：

db.packs.aggregate([
  { $addFields: { apps: { $map: { input: "$apps", as: "app", in: { _id: "$$app._id", did: "$$app.did", name: "$$app.name", codes: "$$app.regions" } } } },
  { $project:{ "apps.regions":0 } }
]).itcount()

• 如果这个数量和原集合的countDocuments()一致，说明前两个阶段没问题，问题出在$out环节：

  • 可能是目标集合updatedpacks之前已存在，聚合过程中因为某些异常（比如磁盘空间不足、写入权限限制）导致部分文档未写入，但你说聚合“成功完成”，这种概率较低。
  • 也可能是聚合过程中有其他操作同时修改了updatedpacks集合，覆盖了部分数据。

• 如果这个数量也只有46，那问题就出在前两个阶段，接下来分析文档特征：

分析原集合中“丢失”的文档特征 #

你的聚合逻辑核心是处理apps数组，那些没出现在结果里的文档，大概率是apps字段不符合预期：

1. 统计apps字段不存在的文档数：

   db.packs.countDocuments({ apps: { $exists: false } })
   

2. 统计apps是空数组的文档数：

   db.packs.countDocuments({ apps: [] })
   

3. 统计apps不是数组类型的文档数：

   db.packs.countDocuments({ apps: { $not: { $type: "array" } } })
   

把这三个数字加起来，如果等于141-46=95，那就要注意：MongoDB的$map如果输入不是数组（比如null、不存在的字段），会返回null，但不会丢弃整个文档。这时候你的$project阶段"apps.regions":0就显得多余了——因为$addFields已经把apps数组里的regions字段替换成codes了，原apps.regions已经不存在了。这个多余的排除操作可能在某些MongoDB版本里导致异常，试试去掉$project阶段重新聚合：

db.packs.aggregate([
  { $addFields: { apps: { $map: { input: "$apps", as: "app", in: { _id: "$$app._id", did: "$$app.did", name: "$$app.name", codes: "$$app.regions" } } } },
  { $out:"updatedpacks_fix" }
])

然后统计updatedpacks_fix的文档数，看看是不是141。

其他可能的排查点 #

• 检查MongoDB的日志文件，看看聚合过程中有没有报错（比如文档大小超过16MB限制、写入权限不足等），虽然你说聚合成功，但有些隐性错误可能不会直接抛出。
• 确认聚合过程中没有其他进程或操作在修改packs或updatedpacks集合，避免数据被干扰。

总结最可能的原因 #

结合你的情况，最大的概率是：

1. 原集合中存在大量apps字段不存在/非数组的文档，而你的$project阶段的多余操作导致这些文档被意外过滤（虽然理论上不应该，但某些版本可能有bug）；
2. 你之前用count()统计的原集合数量不准确，实际符合apps是数组的文档只有46个。

按照上面的步骤排查，应该能快速定位问题。

内容的提问来源于stack exchange，提问作者user09