Java操作MongoDB：批量读取流式集合写入本地文件

嘿，我来帮你解决这个批量读写的问题！首先得指出你当前代码里的两个关键问题，这也是导致你效率低甚至逻辑错误的核心原因：

1. 重复创建文件流：你每次循环都新建FileWriter/BufferedWriter/PrintWriter，这会频繁打开、关闭文件，IO开销极大，完全没必要。
2. 迭代器使用错误：每次调用cursor.iterator()都会生成一个全新的迭代器，这意味着你永远在读取集合的第一个文档，循环根本不会推进到后续文档！

接下来给你一个优化后的实现，既解决批量读取，又优化写入性能：

String host = "myHost"; 
int port = 3717; 
String user = "user"; 
String password = "pass"; 
String databaseName = "dbName"; 
String collectionName = "mycoll"; 

// 初始化Mongo连接
MongoCredential credential = MongoCredential.createCredential(user, databaseName, password.toCharArray());
MongoClient mongoClient = new MongoClient(new ServerAddress(host, port), Arrays.asList(credential));
MongoDatabase database = mongoClient.getDatabase(databaseName);
MongoCollection<Document> collection = database.getCollection(collectionName);

// 设置批量读取大小：告诉驱动每次从MongoDB服务器拉取1000条文档，减少网络请求
FindIterable<Document> cursor = collection.find().batchSize(1000);
String outputPath = "./outputData.txt";

// 只打开一次文件流，用try-with-resources自动管理关闭
try (FileWriter fw = new FileWriter(outputPath, true);
     BufferedWriter bw = new BufferedWriter(fw);
     PrintWriter out = new PrintWriter(bw)) {

    Iterator<Document> docIterator = cursor.iterator();
    StringBuilder batchBuffer = new StringBuilder();
    final int BATCH_LIMIT = 1000; // 每攒1000条文档就批量写入一次
    int currentBatchCount = 0;

    while (docIterator.hasNext()) {
        Document currentDoc = docIterator.next();
        // 将文档转为JSON字符串，加入缓冲区
        batchBuffer.append(currentDoc.toJson()).append(System.lineSeparator());
        currentBatchCount++;

        // 达到批量阈值时写入文件，然后清空缓冲区
        if (currentBatchCount >= BATCH_LIMIT) {
            out.print(batchBuffer);
            batchBuffer.setLength(0);
            currentBatchCount = 0;
        }
    }

    // 写入最后一批不足1000条的剩余文档
    if (currentBatchCount > 0) {
        out.print(batchBuffer);
    }

} catch (IOException e) {
    System.err.println("写入文件时出错：" + e.getMessage());
    e.printStackTrace();
} finally {
    // 别忘了关闭Mongo客户端
    mongoClient.close();
}

关键优化点说明： #

• batchSize(1000)：这是MongoDB驱动的批量读取设置，让驱动每次从服务器一次性拉取1000条文档，大幅减少网络交互次数，提升读取效率。你可以根据服务器性能和本地内存调整这个数值。
• 单次文件流打开：文件流只初始化一次，全程复用，避免频繁的文件打开/关闭操作，这是IO优化的核心。
• 本地缓冲区批量写入：用StringBuilder暂存一批文档，攒够数量再写入文件，减少磁盘IO的次数，进一步提升写入速度。
• 修正迭代器逻辑：只获取一次迭代器，确保能遍历集合的所有文档，不会卡在第一个文档循环。

如果之后你还需要同步后续新增的文档，可以考虑使用MongoDB的Change Streams来监听集合的插入操作，实时同步新文档，但这是进阶需求啦，先搞定当前的批量全量备份就够了。

内容的提问来源于stack exchange，提问作者qwerty