MongoDB全集合find()操作为何会跳过部分文档？

嘿，我来帮你搞定这个全量遍历MongoDB集合不遗漏的问题——毕竟临时任务要处理每一个文档，漏了可就麻烦了对吧？结合你的场景（用db.customers.find({}, {"cid":1, "name":1})遍历，cid有索引），我梳理了可能的问题点和靠谱的解决方案：

1. 为什么你的当前查询可能踩坑？ #

你现在用的查询虽然走了cid索引，效率没问题，但默认的find()游标是非快照模式的——这意味着如果遍历过程中集合有文档被更新（尤其是修改cid这类索引字段，导致文档在索引里的位置变了）、插入或者删除，游标很可能会跳过某些文档，甚至重复处理同一个。说白了，默认游标没法保证你能一次性捞到所有文档。

2. 两种靠谱的解决方案 #

方案一：用快照游标（适合中小数据量） #

MongoDB提供了snapshot()选项，开启后会基于集合默认的_id索引创建快照游标，保证每个文档只会被遍历一次，哪怕遍历过程中有文档被修改或删除（除非你删了又插了同一个_id的文档，不过这种场景很少见）。

修改后的查询语句很简单：

db.customers.find({}, {"cid":1, "name":1}).snapshot()

小提醒：快照游标依赖_id索引，默认MongoDB会自动给每个集合建这个索引，除非你手动删了（千万别这么干）。另外，快照会稍微影响性能，数据量特别大的话不推荐用这个。

方案二：基于cid分批遍历（适合大数据量） #

如果你的customers集合数据量很大，快照游标可能会卡，这时候就可以利用cid这个唯一且有序的索引字段，分批处理，既高效又能保证不遗漏：

• 先拿到cid的最小值和最大值：

const minCid = db.customers.find().sort({cid: 1}).limit(1).toArray()[0].cid;
const maxCid = db.customers.find().sort({cid: -1}).limit(1).toArray()[0].cid;

• 然后按区间分批捞数据，比如每次处理1000条（数量可以根据你的服务器性能调整）：

let currentCid = minCid;
while (currentCid <= maxCid) {
  // 捞取当前区间的文档
  const batch = db.customers.find(
    {cid: {$gte: currentCid, $lt: currentCid + 1000}}, 
    {"cid":1, "name":1}
  ).toArray();
  // 在这里写你的文档处理逻辑
  if (batch.length === 0) break; // 没有数据就退出循环
  // 更新下一批的起始cid
  currentCid = batch[batch.length - 1].cid + 1;
}

这种方式的好处太多了：

• 全程走cid索引，查询速度快
• 如果遍历过程中插入了新文档（只要新文档的cid比当前处理的区间大），后续批次会自动包含它
• 支持断点续传——要是中间脚本崩了，只要记下来最后处理的currentCid，重启后从那里接着来就行

3. 额外要注意的细节 #

• 如果遍历过程中有大量删除操作，建议要么先暂停删除，要么等遍历完再处理——毕竟快照游标会忽略遍历开始后被删的文档，分批遍历也会跳过已经被删的，这得看你的业务需求能不能接受。
• 要是你用的是MongoDB 4.0及以上版本，也可以考虑用变更流来捕获集合的所有变更，但这个更适合实时处理，不太适合你这种一次性全量遍历的临时任务。

内容的提问来源于stack exchange，提问作者gravetii