Spring Batch内存元数据引发内存溢出：如何清理或禁用元数据？

看来你在做大型数据库到另一个数据库的数据迁移时，碰到了元数据占满内存导致OOM的问题——把元数据放内存本来是为了提速，结果反而翻车了对吧？我来给你分享几个实用的解决思路：

一、按需加载+及时释放元数据 #

很多时候内存溢出是因为你不小心把全量的元数据（比如所有表的字段结构、约束信息）都缓存起来了，而实际上你可能每次只需要处理一张表或者一批数据的元数据。

• 如果是用JDBC直接操作：每次获取ResultSetMetaData或DatabaseMetaData后，用完就把引用置为null，不要长期持有。比如处理完一张表的数据，就立刻释放该表的元数据对象，让GC能及时回收。
• 如果用ORM框架（比如Hibernate/MyBatis）：
  • Hibernate：可以避免在SessionFactory中缓存不必要的元数据，比如通过配置hibernate.use_query_cache=false关闭查询缓存，或者使用临时的Session处理每批数据，用完就关闭并清理。
  • MyBatis：把localCacheScope设为STATEMENT，这样每次查询后都会清理本地缓存，包括查询相关的元数据。

二、手动清理元数据引用 #

如果是你自己维护的元数据缓存（比如用HashMap存表结构），别等GC自动回收，主动清理更靠谱：

• 每处理完一批数据，就调用缓存容器的clear()方法，或者移除当前批次对应的元数据条目。
• 用WeakHashMap代替普通HashMap存储元数据——这种Map的键是弱引用，当元数据没有其他引用时，GC会自动把它从Map中移除，不会一直占内存。

三、禁用框架默认的元数据缓存 #

不少数据访问框架或ETL工具会默认缓存元数据来提升性能，你可以找对应的配置项关掉：

• 比如Spring Batch这类ETL工具，默认会缓存作业的元数据，你可以通过配置spring.batch.jdbc.initialize-schema=never避免不必要的元数据存储。
• 有些JDBC驱动也会缓存元数据，比如MySQL驱动可以设置useInformationSchema=false，避免自动加载全量的表结构信息。

四、分批次处理数据 #

这是从根源上减少内存中同时存在的元数据量：

• 把数据分成小批次处理，比如每次只读取1000条记录，处理完写入目标库后，立刻清理当前批次的所有元数据引用，再处理下一批。这样内存里永远只保留当前批次的元数据，不会越积越多。

五、临时调整JVM参数（治标方案） #

如果上面的方法都需要时间调整，临时可以调大JVM堆内存来缓解，比如启动时加-Xmx4g（把最大堆内存设为4G），但这只是权宜之计，还是得从元数据的存储和清理逻辑上解决问题。

内容的提问来源于stack exchange，提问作者Hardik Rudani