Ignite 2.13客户端节点驻留内存过高问题排查咨询

核心现象梳理 #

• 客户端与服务端堆内存配置均为4GB
• 未开启堆内存储、无任何持久化配置；默认数据区域最大4GB，LRU驱逐阈值设为50%
• Ignite日志指标显示：堆内内存仅占用几MB，系统及默认数据区域的堆外内存使用量为0
• top命令观测：堆内存约3.5GB，驻留内存（RSS）达9GB，测试结束时甚至升至13GB，且该问题仅出现在客户端节点

驻留内存暴涨的客户端特有原因 #

1. 本地查询结果/元数据缓存累积
   客户端默认会缓存SQL查询结果、表结构、分区映射等元数据，若频繁执行大结果集查询，这些数据可能在JVM堆外的直接内存或本地内存中累积，而这部分内存不在Ignite默认数据区域的统计范围内。
2. JVM堆外直接内存泄漏
   客户端处理网络IO、序列化/反序列化时会用到直接内存，若NIO缓冲区未正确回收，会导致RSS持续增长，这部分内存同样不被Ignite数据区域指标覆盖。
3. 线程栈与连接池内存开销
   客户端与服务端的连接池、业务线程栈占用的内存，不属于Ignite数据区域统计范畴。如果并发请求量高，线程数过多（默认每个线程栈1MB），会快速推高RSS。
4. 元空间内存增长
   频繁的查询、序列化操作可能动态生成大量类（比如SQL执行计划类），这些类占用的元空间内存会体现在RSS中，但Ignite默认指标不统计元空间。

指标日志未体现该占用的原因 #

Ignite默认内存指标仅统计数据区域（默认、系统、自定义区域）的堆内/堆外内存，而客户端的查询缓存、直接内存、元空间、线程栈等内存开销，均不在数据区域的监控范围内，因此不会被日志记录。

用Ignite工具排查驻留内存内容 #

1. Visor CLI分析 #

• 启动Visor：执行ignitevisorcmd.sh（Linux）或ignitevisorcmd.bat（Windows）
• 连接客户端节点：执行connect <client-node-id>（节点ID可通过nodes命令查看）
• 检查本地缓存：执行cache -a查看所有缓存，重点关注LOCAL类型缓存；用cache -size <cache-name>查看缓存占用
• 分析查询统计：执行qry -stats查看近期查询的结果集大小、执行次数，判断是否存在大结果集累积

2. 内存快照分析 #

• 生成堆转储：在客户端节点执行jcmd <pid> GC.heap_dump <dump-path>
• Visor堆分析：执行heap -analyze <dump-path>，重点排查ByteBuffer等直接内存引用、查询结果缓存对象
• 元空间检查：执行jcmd <pid> VM.metaspace查看元空间占用，判断是否由类加载导致内存增长

3. 实时内存监控 #

• 开启JMX监控：客户端启动参数添加-Dcom.sun.management.jmxremote，通过JConsole/VisualVM查看直接内存、线程数、元空间的实时占用
• 开启内存调试日志：在客户端配置中设置org.apache.ignite.internal.mem日志级别为DEBUG，追踪内存分配与释放细节

临时缓解与优化建议 #

• 限制查询结果集：SQL查询添加LIMIT，避免返回过大结果
• 调整本地缓存配置：设置setLocalMaxSize()限制客户端本地缓存大小，或禁用不必要的本地缓存
• 优化JVM参数：调整直接内存上限（-XX:MaxDirectMemorySize=2g）、元空间上限（-XX:MaxMetaspaceSize=2g），降低线程栈大小（-Xss512k）
• 升级Ignite版本：2.13存在部分客户端内存泄漏已知问题，升级至2.15+版本可修复部分漏洞

内容的提问来源于stack exchange，提问作者Victor