Druid从PostgreSQL批量导入10亿数据时堆内存溢出错误求助

可能的原因及对应解决方案 #

1. 单批次内存负载超出堆上限 #

虽然配置了maxRowsInMemory=2000000，但10亿级数据的单条JSON平均大小可能高于500万条测试时的水平，导致单批次加载的数据总内存直接突破4G堆上限。

• 降低maxRowsInMemory参数值，建议调整至500000-1000000区间，减少单次加载到堆中的数据量，避免堆内存瞬间被占满。
• 启用intermediatePersist机制，配置intermediatePersistPeriod=PT10M（每10分钟触发一次磁盘持久化），让Druid在内存达到阈值时自动将中间数据写入磁盘，释放堆内存。同时确保MiddleManager节点有充足的临时磁盘空间（建议至少预留500G以上）。

2. JVM堆内存配置不足以支撑大规模数据处理 #

4G的堆内存上限对于10亿级数据的批量导入来说存在瓶颈，尤其是JSON解析、数据转换过程中会产生大量临时对象，容易堆积在堆中无法及时回收。

• 调高JVM堆内存的max值，建议根据服务器物理内存调整至8G或16G（确保服务器物理内存剩余量大于堆内存配置，避免触发swap交换），同时将min值与max值设为相同，避免JVM频繁调整堆大小带来的性能开销。
• 添加JVM参数-XX:+HeapDumpOnOutOfMemoryError和-XX:HeapDumpPath=/opt/druid/heapdump，当OOM发生时自动生成堆转储文件，通过MAT等工具分析占用内存的对象类型，针对性优化（比如清理未释放的缓存对象、优化数据解析逻辑）。

3. JDBC拉取数据策略导致客户端内存过载 #

默认情况下，JDBC驱动可能一次性从PostgreSQL拉取全部结果集到客户端内存，直接压垮Druid的堆内存。

• 在Druid的PostgreSQL数据源配置中设置fetchSize=10000，让JDBC驱动每次仅拉取指定行数的数据，逐步处理，避免一次性加载全量数据。
• 将10亿条数据按时间、主键ID等字段拆分为多个独立的导入任务（比如每1000万条为一个任务），串行或并行执行，分散单任务的内存压力。

4. JSON解析的内存开销未优化 #

JSON格式本身的解析会产生大量临时对象，若未做优化，容易在堆中堆积导致OOM。

• 优化Jackson解析配置，启用JsonParser.Feature.AUTO_CLOSE_SOURCE避免资源泄漏，同时设置JsonFactory.Feature.INTERN_FIELD_NAMES减少字符串对象的重复创建。
• 精简Druid的字段映射配置，仅导入业务需要的字段，跳过不必要的JSON字段，减少解析和存储过程中的内存消耗。

内容的提问来源于stack exchange，提问作者thilip an