3节点VoltDB集群堆内存被占满无法释放问题咨询

排查步骤 #

1. 优先核查AdHoc查询执行计划缓存占用
   VoltDB的AdHoc查询会默认生成执行计划并缓存到堆内存中，默认缓存无上限。如果业务侧存在大量非参数化的AdHoc查询（比如每次查询条件的常量都不同，无法复用计划），计划缓存会持续挤占堆空间。
   • 执行@Statistics PLANCACHE 0查看缓存条目数和总占用内存，若占比超过堆总大小的30%，可在集群配置文件中添加<plancache maxsize="512"/>（单位MB）限制缓存上限，超过阈值后旧计划会自动淘汰。
2. 调整异步快照配置
   1分钟一次的快照频率过高，若单次快照执行时长超过间隔，会导致多轮快照的临时对象在堆中累积无法及时回收。
   • 先查看集群日志确认每次异步快照的执行耗时，若超过1分钟先将间隔调整为5分钟观察内存走势；
   • 可配置snapshottempstoragelocation参数指向本地磁盘路径，将快照生成过程的临时缓冲从堆转移到磁盘，降低堆内存占用。
3. 核查JVM垃圾回收配置
   VoltDB官方默认推荐使用G1垃圾回收器，若JVM参数配置不合理会导致GC触发滞后，出现堆占满不释放的假象。
   • 核对启动JVM参数是否包含-XX:+UseG1GC -XX:MaxGCPauseMillis=200 -XX:InitiatingHeapOccupancyPercent=70，若未设置InitiatingHeapOccupancyPercent，G1默认会等到堆占用达到45%才启动并发GC，若业务峰值高会导致GC不及时；
   • 给启动参数增加GC日志打印配置：-Xloggc:gc.log -XX:+PrintGCDetails -XX:+PrintGCDateStamps，运行一段时间后查看GC日志，若Full GC执行后堆占用能回落至1GB以下，则判定为GC触发阈值问题，调低InitiatingHeapOccupancyPercent至60即可；若Full GC后堆占用仍接近2GB，才属于真实内存泄漏。
4. 排查业务侧隐性内存占用
   • 执行@Statistics TABLE 0统计所有用户表的总内存占用，若总占比接近堆已用内存，说明是业务数据增长导致的占用升高，非泄漏，需增加TTL自动清理过期数据或扩容堆空间；
   • 执行@Statistics CLIENT 0查看是否存在积压的客户端响应，大结果集查询如果客户端未及时拉取结果，会一直占用堆内存直到超时释放。
5. 真实内存泄漏的定位
   如果上述步骤都排查完仍存在内存持续上涨不释放的问题，可通过jmap -dump:format=b,file=voltdb_heap.hprof <voltDB进程ID>抓取堆转储文件，用MAT（Memory Analyzer Tool）分析大对象的引用链，定位泄漏点。

内容的提问来源于stack exchange，提问作者Tiki Raga