Java中CSV整文件解析与逐行解析对比及改造需求咨询

针对你处理80k-120k行CSV文件的解析优化需求，我整理了几个基于OpenCSV的实用改造方案，都是针对大数据量场景设计的：

一次性把10万+对象加载到List里很容易触发OOM，或者导致服务内存占用过高。改用迭代器模式分批读取处理，每处理完一批就释放内存，能有效降低内存压力：

try (Reader reader = Files.newBufferedReader(Paths.get(file))) {
    CsvToBean<MyCustomClass> csvToBean = new CsvToBeanBuilder<MyCustomClass>(reader)
            .withType(MyCustomClass.class)
            .withIgnoreLeadingWhiteSpace(true)
            .build();

    Iterator<MyCustomClass> csvIterator = csvToBean.iterator();
    List<MyCustomClass> batch = new ArrayList<>(1000); // 每批大小可根据内存情况调整，比如500/2000
    int batchNumber = 0;

    while (csvIterator.hasNext()) {
        batch.add(csvIterator.next());
        if (batch.size() >= 1000) {
            // 这里替换成你的业务处理逻辑：比如写入数据库、数据校验等
            processBatch(batch);
            batch.clear(); // 清空批次，释放内存
            batchNumber++;
            System.out.println("已完成第 " + batchNumber + " 批数据处理");
        }
    }

    // 处理最后一批不足1000条的剩余数据
    if (!batch.isEmpty()) {
        processBatch(batch);
    }
} catch (IOException e) {
    // 异常处理根据你的业务调整，比如打日志、告警
    e.printStackTrace();
}

核心是用iterator()替代parse()，这样OpenCSV不会一次性把所有对象加载到内存，而是按需逐行解析。

如果你的服务器是多核CPU，可以开启并行解析来加快处理速度，OpenCSV原生支持通过线程池实现并行：

try (Reader reader = Files.newBufferedReader(Paths.get(file))) {
    // 用CPU核心数来初始化线程池，避免线程过多导致上下文切换开销
    ExecutorService executor = Executors.newFixedThreadPool(Runtime.getRuntime().availableProcessors());
    
    CsvToBean<MyCustomClass> csvToBean = new CsvToBeanBuilder<MyCustomClass>(reader)
            .withType(MyCustomClass.class)
            .withIgnoreLeadingWhiteSpace(true)
            .withExecutorService(executor)
            .build();

    // 并行处理每条数据（如果你的业务逻辑线程安全的话）
    csvToBean.stream().parallel().forEach(this::processSingleItem);
    
    executor.shutdown();
} catch (IOException e) {
    e.printStackTrace();
}

注意：如果你的业务涉及数据库写入等操作，要确保线程安全，比如使用线程安全的DAO或者控制数据库连接池的大小，避免连接耗尽。

如果CSV的列顺序固定不变，建议用@CsvBindByPosition替代@CsvBindByName，因为按位置映射省去了列名匹配的步骤，解析速度会更快：

public class MyCustomClass {
    @CsvBindByPosition(position = 0) // 对应CSV第1列（从0开始计数）
    private Integer id;

    @CsvBindByPosition(position = 1)
    private String userName;

    // 忽略不需要的列，减少不必要的映射
    @CsvIgnore
    private String unusedField;

    // getter/setter...
}

另外，尽量使用基本类型的包装类（比如Integer代替int），避免自动拆装箱的额外开销；对于不需要的列，一定要用@CsvIgnore忽略，减少解析时的处理逻辑。

• 调整BufferedReader的缓冲区大小：默认是8KB，大文件可以调大到32KB或64KB，比如Files.newBufferedReader(Paths.get(file), StandardCharsets.UTF_8, 32768)，减少IO次数。
• 处理完每批数据后，可以手动触发一次GC（System.gc()），不过这只是辅助手段，JVM会自动管理内存，不要过度依赖。

内容的提问来源于stack exchange，提问作者Core7s