Java读取超大SQL文件写入数据库的内存优化及性能问题咨询

首先得明确：你遇到的问题核心不是“每次迭代后手动释放内存”这么简单，而是错误的文件读取/写入方式导致内存被持续占用甚至撑爆——哪怕把Xmx调到10G，50GB的文件也不可能塞进内存里。之前200MB文件第二个处理慢甚至OOM，也是因为第一个文件读取后，内存里的大量对象没被正确回收，或者你用了一次性加载整个文件的方式（比如Files.readAllBytes）。

下面是针对你的场景的具体解决方案，从根本上解决性能和内存问题：

1. 必须用流式读取，绝对不能一次性加载文件到内存 #

不管文件多大，都要逐行（或逐块）读取，让内存里始终只保留当前处理的一小部分内容。用BufferedReader是最稳妥的方式，它本身就是流式处理，不会把整个文件加载到内存：

// 用try-with-resources自动关闭流，避免资源泄漏
try (BufferedReader reader = new BufferedReader(new FileReader("your_large_file.sql"))) {
    String line;
    // 逐行读取，内存里只会存当前line的内容
    while ((line = reader.readLine()) != null) {
        // 处理当前行的SQL逻辑
        processSingleLine(line);
    }
} catch (IOException e) {
    e.printStackTrace();
}

2. 数据库写入必须用批量操作+关闭自动提交 #

单条SQL提交会导致频繁的磁盘IO，这是你第一个文件处理慢的核心原因之一。而且自动提交模式下，数据库会为每一条SQL开启事务，性能极低。

正确的做法是：关闭自动提交，积累一定数量的SQL后批量提交，同时用PreparedStatement的批处理功能：

Connection conn = null;
PreparedStatement pstmt = null;
final int BATCH_SIZE = 1000; // 每1000条提交一次，可根据数据库性能调整
int count = 0;

try {
    conn = DriverManager.getConnection(DB_URL, DB_USER, DB_PWD);
    conn.setAutoCommit(false); // 关闭自动提交，手动控制事务
    
    // 假设你是插入数据，用PreparedStatement预编译SQL，提升性能
    String sql = "INSERT INTO your_table (col1, col2, col3) VALUES (?, ?, ?)";
    pstmt = conn.prepareStatement(sql);

    try (BufferedReader reader = new BufferedReader(new FileReader("your_large_file.sql"))) {
        String line;
        while ((line = reader.readLine()) != null) {
            // 这里假设你已经把line解析成需要的参数（比如split后取字段）
            String[] params = line.split(","); // 示例，根据你的SQL格式调整
            pstmt.setString(1, params[0]);
            pstmt.setString(2, params[1]);
            pstmt.setString(3, params[2]);
            
            pstmt.addBatch(); // 加入批处理
            count++;
            
            // 达到批量大小就提交
            if (count % BATCH_SIZE == 0) {
                pstmt.executeBatch();
                conn.commit();
                pstmt.clearBatch(); // 清空批处理队列，帮助回收内存
                // 提示GC回收无用对象（不是强制，但能辅助内存释放）
                System.gc();
            }
        }
        // 处理剩余的未提交数据
        if (count % BATCH_SIZE != 0) {
            pstmt.executeBatch();
            conn.commit();
        }
    }
} catch (SQLException | IOException e) {
    // 出错回滚事务
    if (conn != null) {
        try {
            conn.rollback();
        } catch (SQLException ex) {
            ex.printStackTrace();
        }
    }
    e.printStackTrace();
} finally {
    // 必须关闭资源，避免连接泄漏和内存占用
    if (pstmt != null) {
        try {
            pstmt.close();
        } catch (SQLException e) {
            e.printStackTrace();
        }
    }
    if (conn != null) {
        try {
            conn.close();
        } catch (SQLException e) {
            e.printStackTrace();
        }
    }
}

3. 内存回收的关键细节：避免对象累积 #

你提到“每次迭代后释放内存”，其实Java的GC会自动回收无用对象，但你要确保对象确实是“无用”的：

• 不要把处理过的SQL行、参数存在全局集合里（比如List），用完就丢弃；
• 用StringBuilder拼接多行SQL时，每次执行完要调用setLength(0)清空，而不是创建新的StringBuilder；
• 避免在循环里创建大量临时对象（比如每次循环都new一个解析器），尽量复用对象；
• 用try-with-resources自动关闭流、连接、Statement等资源，这些资源如果不关闭，会占用内存且无法被GC回收。

4. 处理多行SQL的注意事项 #

如果你的SQL文件里有多行的SQL语句（比如CREATE TABLE、带多行值的INSERT），逐行读取会把完整的SQL拆成碎片，这时候需要用StringBuilder拼接，直到遇到SQL结束符（通常是分号）：

StringBuilder sqlBuilder = new StringBuilder();
try (BufferedReader reader = new BufferedReader(new FileReader("your_large_file.sql"))) {
    String line;
    while ((line = reader.readLine()) != null) {
        line = line.trim();
        // 跳过注释和空行，减少无效处理
        if (line.isEmpty() || line.startsWith("--") || line.startsWith("/*")) {
            continue;
        }
        sqlBuilder.append(line);
        // 遇到分号，说明是完整的SQL语句
        if (line.endsWith(";")) {
            String fullSql = sqlBuilder.toString();
            // 执行这个完整的SQL
            executeSql(fullSql, conn, pstmt);
            // 清空builder，释放内存
            sqlBuilder.setLength(0);
        }
    }
    // 处理文件末尾可能剩下的未完成SQL
    if (sqlBuilder.length() > 0) {
        executeSql(sqlBuilder.toString(), conn, pstmt);
    }
}

5. 额外的性能优化点 #

• 数据库驱动配置：比如MySQL驱动可以加上rewriteBatchedStatements=true参数，它会把多个INSERT合并成一个批量插入语句，大幅提升写入速度；
• 调整批量大小：BATCH_SIZE不要太小（比如100）也不要太大（比如10000），可以根据数据库的性能测试调整，一般1000-5000比较合适；
• 禁用日志：如果是测试环境，可以暂时关闭数据库的慢查询日志、通用日志，减少磁盘IO；
• 使用连接池：不要每次都创建新的数据库连接，用HikariCP等连接池复用连接，减少连接创建的开销。

内容的提问来源于stack exchange，提问作者Hipo