如何解决大CSV转JSON的Java堆内存错误？求Jackson Stream API改写方案

嘿，我完全懂你遇到的麻烦——处理大CSV文件时，把所有数据一次性塞进内存（就像你原来代码里用readAll()把整个CSV转成List<Map<?,?>>），简直是在给JVM堆内存“施压”，文件越大越容易触发OOM错误。这是因为所有数据都驻留在内存里，一旦超出JVM分配的堆内存上限，自然就崩了。

原代码的问题所在 #

你的当前实现是把CSV每一行转成一个Map，然后把所有Map都存在List里，最后一次性把整个List序列化到JSON文件。这种“全量加载”的方式对小文件没问题，但面对大型CSV时，内存消耗会直接拉满，不出错才怪。

用Jackson流式API改写的解决方案 #

核心思路就是边读边写——不需要把所有数据都存在内存里，读一行CSV就写一行JSON，内存占用会低到可以忽略不计，完美适配大型文件。下面是改写后的完整代码：

import java.io.File;
import java.io.IOException;
import com.fasterxml.jackson.core.JsonFactory;
import com.fasterxml.jackson.core.JsonGenerator;
import com.fasterxml.jackson.databind.MappingIterator;
import com.fasterxml.jackson.dataformat.csv.CsvMapper;
import com.fasterxml.jackson.dataformat.csv.CsvSchema;

public class CsvToJsonStreaming {
    public static void main(String[] args) throws Exception {
        File inputCsv = new File("C:\\Users\\shivamurthym\\Downloads\\FL_insurance_sample\\FL_insurance_sample.csv");
        File outputJson = new File("C:\\Users\\shivamurthym\\data.json");

        convertCsvToJsonStreaming(inputCsv, outputJson);
    }

    public static void convertCsvToJsonStreaming(File csvFile, File jsonFile) throws IOException {
        // 初始化CSV读取器，用表头作为字段名
        CsvMapper csvMapper = new CsvMapper();
        CsvSchema csvSchema = CsvSchema.emptySchema().withHeader();
        MappingIterator<java.util.Map<String, String>> csvIterator = 
            csvMapper.readerFor(java.util.Map.class).with(csvSchema).readValues(csvFile);

        // 初始化JSON流式生成器，用try-with-resources自动管理资源
        JsonFactory jsonFactory = new JsonFactory();
        try (JsonGenerator jsonGenerator = jsonFactory.createGenerator(jsonFile)) {
            // 先写入JSON数组的开始标记
            jsonGenerator.writeStartArray();

            // 逐行处理：读一行CSV，就写一行JSON对象
            while (csvIterator.hasNext()) {
                java.util.Map<String, String> rowData = csvIterator.next();
                jsonGenerator.writeObject(rowData);
            }

            // 写入JSON数组的结束标记，保证JSON格式合法
            jsonGenerator.writeEndArray();
        } finally {
            // 手动关闭CSV迭代器，避免资源泄漏
            csvIterator.close();
        }
    }
}

关键细节说明 #

• 流式读取CSV：MappingIterator会逐行读取CSV数据，每次内存里只保留当前行的内容，不会加载整个文件。
• 流式写入JSON：JsonGenerator是Jackson的低阶流式API，能直接写JSON内容，配合writeStartArray()和writeEndArray()生成合法的JSON数组结构。
• 资源安全：用try-with-resources管理JsonGenerator，确保它会自动关闭；最后手动关闭csvIterator，避免IO资源泄漏。

额外优化建议 #

1. 用实体类代替Map：如果你的CSV表头是固定的，建议创建一个对应的Java实体类（比如InsurancePolicy），把readerFor(Map.class)改成readerFor(InsurancePolicy.class)。这样不仅序列化效率更高，内存占用也会更低，代码可读性也更好。
2. 临时调大堆内存：如果偶尔需要处理超大文件，也可以临时调整JVM堆内存参数（比如-Xmx4g，表示分配4GB堆内存），但这只是权宜之计，流式处理才是长期解决大型文件的正确姿势。

内容的提问来源于stack exchange，提问作者Meg