Java -Xmx200m下处理2000万行CSV堆内存溢出问题求助

1. 缩小事务范围，避免长事务内存泄漏 #

原代码中processCsvFile方法标记了@Transactional，导致整个CSV处理流程都在一个事务中运行。Hibernate的一级缓存会留存所有已持久化的Person对象，随着处理行数增加，缓存占用的内存会持续累积直至OOM。

修改方案：
移除processCsvFile方法上的@Transactional，将事务仅添加到批量保存的方法中：

// 移除该方法的@Transactional注解
public void processCsvFile(Path pathToFile, int processId) {
    // 原有逻辑不变
}

// 在批量保存方法单独添加事务
@Transactional
public void saveBatch(List<Person> batch) {
    // 批量保存逻辑
}

2. 优化Stream计数逻辑，减少不必要的对象创建 #

原代码使用AtomicInteger做行数计数，频繁的getAndIncrement会产生大量CAS操作和临时对象。由于BufferedReader.lines()返回的是有序单线程流，直接使用普通int变量即可，无需原子类。

修改方案：

// 替换AtomicInteger为普通int变量
int processedRows = 0;

personDtoStream.forEachOrdered(personDto -> {
    try {
        // 原有校验、映射逻辑
        processedRows++;
        if (processedRows % 100000 == 0) {
            processStatusService.updateProcessedRows(processId, processedRows);
        }
    } catch (RuntimeException e) {
        // 原有异常处理
    }
});

3. 优化CSV解析，降低字符串对象开销 #

原代码用line.split(",")会创建大量字符串数组和新字符串实例，trim()操作也会额外生成对象。可以改用手动截取字符串的方式减少对象创建，或使用高效的CSV解析库（如OpenCSV）。

手动解析示例（替代split）： #

private PersonDto parseCsvToPersonDto(String line) {
    try {
        List<String> fields = new ArrayList<>(9);
        int start = 0;
        int end;
        for (int i = 0; i < 9; i++) {
            end = line.indexOf(',', start);
            end = end == -1 ? line.length() : end;
            // 直接截取并trim，减少中间对象
            fields.add(line.substring(start, end).trim());
            start = end + 1;
        }
        String type = fields.get(0);
        PersonParser parser = parserRegistry.findParser(type);
        if (parser == null) {
            log.warn("No parser found for type: {}", type);
            return null;
        }
        return parser.parse(fields.toArray(new String[0]));
    } catch (Exception e) {
        log.error("Error parsing CSV line: {} - {}", line, e.getMessage());
        return null;
    }
}

4. 清理JPA一级缓存，释放持久化对象内存 #

即使使用批量插入，JPA的一级缓存（Session）仍会留存所有Person对象。需在批量保存后手动清理缓存，避免内存堆积。

修改批量保存方法：

@Transactional
public void saveBatch(List<Person> batch) {
    batch.forEach(entityManager::persist);
    // 刷新并清理缓存，释放内存
    entityManager.flush();
    entityManager.clear();
}

同时添加JPA配置优化批量插入：

spring.jpa.properties.hibernate.jdbc.batch_size=40
spring.jpa.properties.hibernate.order_inserts=true
spring.jpa.properties.hibernate.order_updates=true

5. 移除手动GC调用，交由JVM自动管理 #

原代码中的System.gc()是显式触发GC，不仅会导致性能波动，且无法保证立即释放内存。JVM的GC策略会根据内存使用情况自动调整，应删除该调用。

6. 关闭冗余日志，减少内存占用 #

原代码中log.debug("Parsing line: {}", line)会输出每行CSV内容，debug级别开启时会生成大量日志对象占用内存。建议关闭该debug日志，仅在异常场景输出行信息。

7. 优化对象内存占用 #

检查Person和PersonDto类：

• 使用基本类型（如int代替Integer）替代包装类型
• 对于Java 16+，改用record类减少对象额外开销
• 移除不必要的字段，避免冗余数据

示例：

// 使用record替代普通DTO类，减少内存占用
public record PersonDto(String type, String name, int age, String email, /* 其他字段 */) {}

8. 调整JVM参数，优化堆内存使用 #

在-Xmx200m基础上添加以下参数：

-XX:+UseG1GC
-XX:MaxGCPauseMillis=100
-XX:+HeapDumpOnOutOfMemoryError
-XX:HeapDumpPath=/var/log/heapdump.hprof

G1收集器更适合小堆内存场景，能高效回收碎片化内存；堆转储参数可帮助后续分析内存泄漏点。

内容的提问来源于stack exchange，提问作者codingJohn