Ignite 2.11缓存堆空间无操作时异常暴涨致OOM问题咨询

我们使用Ignite 2.11版本，发现服务器节点及近缓存场景下的客户端节点，所有缓存堆空间会突发暴涨2-3倍，但缓存条目没有新增。该行为是否正常？有没有预防方法？客户端节点内存占用增加已经导致应用出现OutOfMemory错误。

内存暴涨前的缓存状态 #

Cache 'ENTRIES_CACHE(@c8)':
+--------------------------------------------------------------+
| Name(@)                         | ENTRIES_CACHE(@c8) |
| Total entries (Heap / Off-heap) | 21 (14 / 7)                |
| Nodes                           | 2                          |
| Total size Min/Avg/Max          | 7 / 10.50 / 14             |
|   Heap size Min/Avg/Max         | 7 / 7.00 / 7               |
|   Off-heap size Min/Avg/Max     | 0 / 3.50 / 7               |
+--------------------------------------------------------------+

Nodes for: ENTRIES_CACHE(@c8)
+================================================================================================================+
|     Node ID8(@), IP      | CPUs | Heap Used | CPU Load |   Up Time    | Size (Primary / Backup)  | Hi/Mi/Rd/Wr |
+================================================================================================================+
| 9C82B7D0(@n1), 127.0.0.1 | 16   | 22.86 %   | 0.23 %   | 04:31:12.703 | Total: 7 (7 / 0)         | Hi: 0       |
|                          |      |           |          |              |   Heap: 7 (7 / <n/a>)    | Mi: 0       |
|                          |      |           |          |              |   Off-Heap: 0 (0 / 0)    | Rd: 0       |
|                          |      |           |          |              |   Off-Heap Memory: 0     | Wr: 0       |
+--------------------------+------+-----------+----------+--------------+--------------------------+-------------+
| 7116937A(@n0), 127.0.0.1 | 1    | 18.70 %   | 5.33 %   | 23:01:35.501 | Total: 14 (14 / 0)       | Hi: 0       |
|                          |      |           |          |              |   Heap: 7 (7 / <n/a>)    | Mi: 0       |
|                          |      |           |          |              |   Off-Heap: 7 (7 / 0)    | Rd: 0       |
|                          |      |           |          |              |   Off-Heap Memory: <n/a> | Wr: 0       |
+----------------------------------------------------------------------------------------------------------------+

内存暴涨后的缓存状态 #

Cache 'ENTRIES_CACHE(@c8)':
+--------------------------------------------------------------+
| Name(@)                         | ENTRIES_CACHE(@c8) |
| Total entries (Heap / Off-heap) | 21 (14 / 7)                |
| Nodes                           | 2                          |
| Total size Min/Avg/Max          | 7 / 10.50 / 14             |
|   Heap size Min/Avg/Max         | 7 / 7.00 / 7               |
|   Off-heap size Min/Avg/Max     | 0 / 3.50 / 7               |
+--------------------------------------------------------------+

Nodes for: ENTRIES_CACHE(@c8)
+================================================================================================================+
|     Node ID8(@), IP      | CPUs | Heap Used | CPU Load |   Up Time    | Size (Primary / Backup)  | Hi/Mi/Rd/Wr |
+================================================================================================================+
| 9C82B7D0(@n1), 127.0.0.1 | 16   | 30.79 %   | 14.73 %  | 04:36:30.703 | Total: 7 (7 / 0)         | Hi: 0       |
|                          |      |           |          |              |   Heap: 7 (7 / <n/a>)    | Mi: 0       |
|                          |      |           |          |              |   Off-Heap: 0 (0 / 0)    | Rd: 0       |
|                          |      |           |          |              |   Off-Heap Memory: 0     | Wr: 0       |
+--------------------------+------+-----------+----------+--------------+--------------------------+-------------+
| 7116937A(@n0), 127.0.0.1 | 1    | 31.67 %   | 58.67 %  | 23:06:54.534 | Total: 14 (14 / 0)       | Hi: 0       |
|                          |      |           |          |              |   Heap: 7 (7 / <n/a>)    | Mi: 0       |
|                          |      |           |          |              |   Off-Heap: 7 (7 / 0)    | Rd: 0       |
|                          |      |           |          |              |   Off-Heap Memory: <n/a> | Wr: 0       |
+----------------------------------------------------------------------------------------------------------------+

问题分析与解决方案 #

该行为是否正常？ #

这种缓存条目无新增但堆内存突发暴涨2-3倍的情况绝对不正常。从监控数据来看，缓存的总条目、堆/堆外存储大小完全没有变化，但节点堆使用率大幅上升（比如节点n0从18.70%涨到31.67%），说明内存消耗并非来自缓存数据本身，而是Ignite内部的临时对象堆积、线程池阻塞、GC停顿或近缓存机制异常导致。

Ignite 2.11是较旧版本，存在一些已知的内存相关bug，尤其是近缓存场景下，可能和以下因素有关：

• 近缓存过期/清理机制异常，无效对象堆积
• 内部索引、查询上下文未及时释放
• 节点间通信的临时缓冲区未回收
• GC配置不合理，老年代内存无法及时释放

预防及解决方法 #

1. 升级Ignite版本：优先升级到最新稳定版（如2.12+），后续版本修复了大量内存泄漏和突发占用问题。
2. 优化近缓存配置：
   • 明确设置近缓存的过期时间（nearEvictionPolicy），避免无限制缓存对象
   • 开启近缓存统计监控，排查异常的缓存更新/清理行为
   • 调整近缓存最大条目数，防止内存溢出
3. 调整JVM GC参数：
   • 使用G1GC或ZGC替代默认Parallel GC，提升内存回收效率
   • 合理设置新生代/老年代比例，减少Full GC频率
   • 开启GC日志，分析内存暴涨时的GC行为，定位泄漏点
4. 排查Ignite内部组件：
   • 检查是否有大量查询/计算任务运行，导致临时对象堆积
   • 监控线程池状态，避免线程阻塞导致内存无法释放
   • 禁用不必要的功能（如冗余索引、事件监听），减少内存消耗
5. 客户端节点内存管控：
   • 为客户端节点设置合理堆内存上限，避免影响应用进程
   • 定期清理客户端近缓存，或设置自动清理策略

内容的提问来源于stack exchange，提问作者RichardFeynman