咨询高效拉取MongoDB集合全量数据的方法

出现CursorNotFound异常的核心原因是：MongoDB的游标默认有10分钟超时时间，当使用JPA的findAll()拉取大量数据时，要么一次性加载数据导致内存压力过大、处理时间过长，要么分页过程中未及时迭代完游标，服务器端会自动释放游标，从而抛出该异常。

1. 使用MongoDB原生驱动流式分批处理 #

直接使用MongoDB原生驱动的游标进行流式查询，避免JPA封装带来的限制，同时可设置游标不超时（用完需手动关闭）：

// 初始化MongoCollection
MongoCollection<Document> collection = mongoClient.getDatabase("your_db").getCollection("your_collection");
// 创建无超时的查询游标
FindIterable<Document> iterable = collection.find().noCursorTimeout(true);

try (MongoCursor<Document> cursor = iterable.iterator()) {
    while (cursor.hasNext()) {
        Document doc = cursor.next();
        // 处理单条数据并存入内存
    }
} finally {
    // 手动关闭游标，防止服务器资源泄漏
    iterable.cursor().close();
}

如果用Spring的MongoTemplate，也可以实现类似流式处理：

MongoTemplate mongoTemplate = ...;
mongoTemplate.stream(Query.query(Criteria.where("_id").exists(true)), YourEntity.class)
    .forEach(entity -> {
        // 处理实体并存入内存
    });

2. JPA分页分批查询（保留JPA用法） #

如果必须使用JPA，放弃findAll()，改用分页查询，每次分页创建新游标，避免超时：

int batchSize = 1000; // 根据内存和性能调整批次大小
int pageNum = 0;
Page<YourEntity> page;

do {
    Pageable pageable = PageRequest.of(pageNum, batchSize, Sort.by("_id")); // 按主键排序确保分页稳定
    page = yourRepository.findAll(pageable);
    // 处理当前页数据存入内存
    pageNum++;
} while (page.hasNext());

说明：每次分页请求都会生成新的游标，不会复用之前的游标，从根源避免超时问题，同时小批次处理能降低内存瞬时压力。

3. 离线导出后加载（超大规模数据场景） #

如果业务允许离线处理，先用MongoDB官方工具导出数据到本地文件，再读取文件加载到内存，彻底规避游标问题：

# 使用mongoexport导出为JSON格式
mongoexport --db your_db --collection your_collection --out data_dump.json

之后在应用中读取JSON文件，解析后存入内存即可。

4. 调整MongoDB游标全局超时（谨慎使用） #

可以修改MongoDB服务器的cursorTimeoutMillis参数，全局延长游标超时时间，但不推荐这种方式——会影响所有业务的游标，可能导致服务器资源泄漏。若必须调整，在mongod.conf中配置：

cursorTimeoutMillis: 3600000 # 1小时，默认是600000毫秒（10分钟）

修改后需重启MongoDB生效。

• 确认内存容量足够存储全量数据，避免出现OOM（内存溢出），必要时可增加JVM堆内存参数。
• 流式查询必须手动关闭游标，防止服务器端游标资源泄漏。
• 分页查询时务必指定排序字段（如主键_id），避免MongoDB分页时出现数据重复或遗漏。

内容的提问来源于stack exchange，提问作者amit kumar