如何加速Mongo Cursor迭代？解决大数据下迭代变慢且内存不足问题

云上老周

2026-8-16

解决MongoDB游标迭代越往后越慢的问题

问题根源

你当前用db.collection.find({})[N]这种下标访问方式的核心问题是：每次通过下标获取元素时，MongoDB都会重新创建游标并从头开始遍历，直到找到第N个文档。也就是说，获取第200000个元素时，服务器需要扫描前200000个文档，完全是重复劳动，这才导致耗时指数级增长。

正确的迭代方式

要避免重复扫描，直接迭代游标本身即可——游标会自动维护当前遍历位置，按需从服务器拉取批次数据，不会重复处理已遍历过的文档。

基础迭代示例

import time

start = time.time()
cursor = db.collection.find({})
processed_count = 0

for doc in cursor:
    # 在这里处理你的文档逻辑
    processed_count += 1
    # 模拟到第200000个文档时停止
    if processed_count == 200000:
        break

end = time.time()
print(f"处理200000条文档耗时: {end - start}")

进一步优化建议

调整批次大小：默认游标批次是101条（或根据文档大小自动调整），可以用batch_size()设置更大的批次，减少网络往返次数，提升效率。比如：
```
cursor = db.collection.find({}).batch_size(1000)
```
注意不要设置过大，避免单次拉取数据量超过内存承受能力。
禁用游标超时（长迭代场景）：如果迭代过程耗时很长，默认游标会在10分钟后超时失效，可以用no_cursor_timeout()禁用超时，但记得迭代结束后手动关闭游标（cursor.close()），避免服务器资源浪费：
```
cursor = db.collection.find({}).no_cursor_timeout()
# 迭代逻辑...
cursor.close()
```
只返回需要的字段：如果不需要文档的所有字段，用投影参数减少数据传输量，大幅提升速度：
```
# 只返回_id和你需要的字段
cursor = db.collection.find({}, {"_id": 1, "target_field": 1})
```
避免无索引的排序：如果查询包含排序但没有对应索引，MongoDB会在服务器端进行全集合排序，消耗大量资源。如果必须排序，务必添加对应的索引；非必要则去掉排序逻辑。