Java存储100-200万条记录的内存高效线性ADT选型及Apache Camel内存问题

问题背景 #

我们的微服务需要存储并迭代100万至200万条自定义对象记录，近期出现每月一次的内存溢出（OOM）：应用正常运行1个月后触发OOM，推测是每日处理文件入库后内存未被GC正常回收，导致内存持续增长。

我们考虑过重构代码，比如用固定大小的自定义ArrayList或单向链表，但有个疑问：是否存在内存高效的动态列表用于存储大量自定义对象？

注：该列表仅需按FIFO顺序存储和访问记录，入库后即清空。
注2：若了解Apache Commons Collections或其他类库中已有的内存高效ADT，欢迎分享。

针对性解决方案 #

1. 先排查内存泄漏根源 #

别着急换容器，每月才触发OOM，大概率是内存泄漏而非容器本身的内存效率问题：

• 检查处理完的记录是否被其他未释放的引用持有（比如线程池队列、静态集合、监听器回调、缓存中的残留引用）
• 用jmap/jhat或Arthas工具分析堆快照，定位未被GC回收的对象类型和引用链
• 确认入库后列表是否被彻底清空（比如是否存在局部变量未置空、或被其他对象隐式引用）

2. 内存高效的FIFO容器选型 #

如果确认是容器内存效率问题，结合你FIFO+入库即清空的需求，推荐以下选项：

（1）JDK原生优化方案

• ArrayDeque：比LinkedList内存效率高（LinkedList每个节点带前后指针，额外内存开销大），底层是动态扩容数组，FIFO操作（addLast()/pollFirst()）都是O(1)，适合百万级数据存储。初始化时指定合理初始容量（比如new ArrayDeque<>(1500000)），减少扩容次数，进一步降低内存波动。
• 固定大小数组+手动复用：如果能预估最大记录数（200万），直接用new YourObject[2000000]，用指针标记当前存储位置，入库后重置指针并手动置空数组元素（帮助GC快速回收对象），完全避免容器的额外内存开销。

（2）第三方类库选项

• Apache Commons Collections的FastArrayList：相比JDKArrayList，它支持懒加载数组、手动清空时释放数组内存（调用trimToSize(0)），减少空容器的内存占用；同时支持固定容量模式，避免不必要的扩容。
• Eclipse Collections的FastList：底层用数组实现，比JDKArrayList内存更高效（精简了部分内部字段开销），提供批量操作API适配大数据量处理；针对FIFO场景，也可以用ArrayAdapter包装数组实现轻量级列表。
• 对象池复用思路：如果自定义对象可以复用，参考NettyRecycler的实现做对象池，避免频繁创建销毁对象带来的内存波动和GC压力，但要注意对象状态的完全重置，防止脏数据。

3. 额外优化建议 #

• 入库操作尽量批量处理，减少单次IO的内存占用
• 处理完记录后，立即调用list.clear()，并将列表引用置为null（如果不再使用），帮助GC快速识别可回收对象
• 调整JVM参数：增大新生代内存（-Xmn），让年轻代GC更频繁，避免对象进入老年代；开启-XX:+HeapDumpOnOutOfMemoryError，方便下次OOM时直接分析堆快照

内容的提问来源于stack exchange，提问作者B.War