如何在2GB内存K8s Pod中通过Java REST API高效导出MongoDB百万级记录为CSV

问题根因 #

当前方案崩溃的核心是全量拉取MongoDB结果集后全部加载到JVM堆内存再构造CSV：2GB K8s Pod可分配的JVM堆内存通常仅为1~1.5GB，完全无法承载50万+条记录的全量内存占用。

改造成本最低的最优方案 #

游标分批拉取 + 流式响应写入 #

这套方案改造成本极低，改造后全程内存仅保留当前批次的数百条记录，完全可以在2GB Pod上稳定支持百万级记录导出：

• 禁用全量加载API：不要调用find().toList()这类会把所有结果加载到内存的方法，直接获取MongoCursor迭代器逐条处理
• 配置游标参数：通过batchSize()设置单次从MongoDB拉取的记录数，建议设置为200~1000，平衡查询次数和内存占用；同时加noCursorTimeout(true)防止导出时间过长导致游标被MongoDB自动回收
• 流式写入HTTP响应：不要在本地内存缓存CSV内容，直接将每条记录格式化后写入HTTP响应的输出流，边查边写边返回，不需要等全量数据查询完成才开始响应

示例代码参考：

// 初始化带配置的查询游标
MongoCursor<Document> cursor = mongoCollection.find()
        .batchSize(500)
        .noCursorTimeout(true)
        .iterator();
// 提前设置CSV导出响应头
response.setContentType("text/csv");
response.setHeader("Content-Disposition", "attachment; filename=mongo_export.csv");
int count = 0;
try (PrintWriter writer = response.getWriter()) {
    // 写入CSV表头
    writer.println("_id,field1,field2,create_time");
    // 迭代游标逐条处理，不会全量加载数据到内存
    while (cursor.hasNext()) {
        Document doc = cursor.next();
        // 格式化当前记录为CSV行，注意特殊字符转义
        String csvLine = String.join(",",
                doc.getObjectId("_id").toString(),
                escapeCsvValue(doc.getString("field1")),
                escapeCsvValue(doc.getString("field2")),
                doc.getDate("create_time").toString()
        );
        writer.println(csvLine);
        // 每处理一批手动flush，降低响应缓冲区内存占用
        if (count++ % 500 == 0) {
            writer.flush();
        }
    }
} finally {
    // 手动关闭游标释放MongoDB连接资源
    cursor.close();
}

可选优化点 #

• 替换手动CSV格式化为开源流式CSV库：比如用OpenCSV的CSVWriter，自动处理逗号、引号、换行等特殊字符转义，减少业务代码出错概率
• 调整链路超时配置：将K8s Ingress、Web服务的HTTP连接超时调整到30分钟以上，避免导出过程中连接被中间层主动断开
• 超大数据量用分段查询替代单游标：如果单表数据量超过200万，建议按_id范围拆分多个小查询，每查完一个范围关闭游标再启动下一个查询，避免单个游标长时间占用MongoDB连接
• 高并发场景换异步导出：如果导出接口峰值QPS超过5，建议改成异步模式：收到请求后返回任务ID，后台异步生成CSV上传到对象存储，完成后通知用户下载，完全不占用请求链路的内存资源，还支持进度查询、失败重试等能力

内容的提问来源于stack exchange，提问作者Stunner