使用JDBC驱动从Oracle加载数据到Ignite时堆内存占用过高问题

核心问题定位 #

你当前遇到的堆内存高居不下，本质是三个层面的问题叠加，不是JDBC连接泄漏（try-with-resources语法已经能保证基础资源的自动释放）：

• Ignite Thin JDBC驱动默认配置下客户端写入缓冲区过大，批量提交时会缓存大量待写入数据
• Oracle JDBC默认读取配置会拉取过量结果集到客户端堆
• 大堆场景下JVM默认GC触发阈值过高，不会在任务结束后立刻回收失活对象

可直接落地的优化操作 #

1. 调整JDBC连接参数，启用流写入模式 #

替换你当前的Ignite连接串，不要使用默认配置：

// 建表、建索引使用的短连接，用完立刻关闭
Connection ddlConn = DriverManager.getConnection("jdbc:ignite:thin://127.0.0.1");

// 批量写入专用连接，启用流模式
Connection writeConn = DriverManager.getConnection("jdbc:ignite:thin://127.0.0.1?streamingEnabled=true&streamingPerNodeBufferSize=1048576&streamingPerNodeParallelOperations=4&tcpNoDelay=true");

参数说明：

• streamingEnabled=true：启用Ignite流式写入，不会在客户端缓存全量待写入数据，缓冲区写满就自动发往服务端，避免堆内存堆积
• streamingPerNodeBufferSize=1048576：把每个节点的客户端写入缓冲从默认128MB降到1MB，大幅降低常驻内存占用
• 禁止在同一个连接上混用DDL（建表、建索引）和DML（写入）操作，DDL操作单独用短连接，执行完立刻关闭。

2. 控制读写批次大小，避免一次性加载过量数据 #

• Oracle读取侧：给Oracle JDBC连接设置fetchSize=2000，不要一次性把单表几百万行全量读到客户端内存，严格执行读一批、写一批、清一批的流程，每批写入完成后，把持有当前批数据的集合、数组引用手动置为null，不要持有无用引用妨碍GC。
• Ignite写入侧：单批次插入行数控制在1000-5000行，不要攒几万甚至几十万行再提交，每提交完一个批次就调用PreparedStatement.clearBatch()清空批缓存。
• 不要跨表复用同一个PreparedStatement对象，每个表的写入任务完成后立刻关闭对应的Statement，不要等代码块结束才自动释放。

3. 调整GC配置，主动触发内存回收 #

你给应用分配了52G大堆，默认G1GC的混合回收触发阈值是老年代占比45%，和你观察到的内存高占用场景吻合，JVM不会在任务结束后立刻回收无用对象：

• 在应用启动参数中添加GC配置：

-XX:+UseG1GC
-XX:InitiatingHeapOccupancyPercent=20
-XX:G1HeapRegionSize=16m
-XX:-DisableExplicitGC

• 每张表的数据全量写入、索引创建完成后，手动调用一次System.gc()提示JVM执行垃圾回收，不要等数小时等JVM自动触发回收。

4. 调整索引创建流程 #

不要在所有表数据写完后连续创建所有索引，建议每写完一张表就立刻创建对应表的索引，创建完成后关闭对应的Statement对象，避免连续建索引时元数据对象在堆内堆积。

问题排查兜底 #

如果调整后仍然出现OOM，添加启动参数：

-XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=/tmp/ignite-load.hprof

出现OOM时直接分析堆转储文件，绝大多数场景下占内存的大对象都是Ignite驱动的写入缓冲对象、Oracle JDBC的结果集缓存对象，对应调整批次大小和缓冲参数即可。

内容的提问来源于stack exchange，提问作者vijay elango