HBase RegionServer堆内存持续上涨及压缩文件归档异常求助

问题现象 #

• 集群共15台RegionServer，仅单台节点出现老年代堆内存持续上涨（堆最大值配置为24GB），触发频繁老年代GC，导致HBase进程停滞、服务延迟升高
• 重启该节点仅能临时缓解内存问题，两天后内存再次出现持续上涨趋势
• 堆内存趋势图显示老年代内存呈持续上升态势，无明显回落

关键日志信息 #

2022-09-27 00:25:49,839 INFO [RS_COMPACTED_FILES_DISCHARGER-regionserver/hbase-rs-1:16020-1] regionserver.HStore: Can’t archive compacted file hdfs://{root-dir}/apps/hbase/data/data/default/{table-name}/f036c427f61a3b4150978345f015d840/c/ffa9b24669a3402fb783398c89122896 because of either isCompactedAway=true or file has reference, isReferencedInReads=true, refCount=280, skipping for now.

根因分析 #

从日志可见，已完成压缩的HFile因被持续持有引用（refCount=280、isReferencedInReads=true）无法被归档清理，这些未释放的文件引用持续占用堆内存，导致老年代内存不断累积。当前hbase.master.hfilecleaner.ttl为默认5分钟，该配置仅控制文件清理的超时时间，无法解决引用未释放的核心问题。

解决方案 #

1. 修复HFile引用泄漏核心问题 #

• 检查问题Region与读写任务：重点关注日志中涉及的{table-name}表对应的Region，排查是否存在长时间未完成的读请求、大扫描任务（如全表扫描、批量读），此类任务会持续持有HFile引用。
• 排查客户端Scanner逻辑：确认客户端是否存在未关闭的Scanner，或设置了过大的scan.setCaching()值，导致Scanner长时间占用HFile引用无法释放。
• 升级HBase版本：HBase 2.1.7存在已知的HFile引用泄漏Bug（如HBASE-22907、HBASE-23417），建议升级到2.1.x系列的最新补丁版本（如2.1.10及以上），或直接升级到更稳定的2.4.x系列版本，从底层修复引用泄漏问题。

2. 优化JVM内存与GC配置 #

• 调整新生代与老年代比例：根据业务读写特性，通过-XX:NewRatio参数调整内存比例（如设置为2，即新生代:老年代=1:2），避免对象过早进入老年代堆积。
• 切换至G1GC收集器：针对RegionServer的内存特性，推荐使用G1GC以降低GC停顿时间，示例配置：

  -XX:+UseG1GC -XX:MaxGCPauseMillis=200 -XX:InitiatingHeapOccupancyPercent=70
  

• 配置内存监控告警：通过Prometheus+Grafana监控老年代内存使用率、GC频率与停顿时间，设置使用率超过80%时触发告警，提前干预异常节点。

3. 调整HFile清理相关配置 #

• 压缩文件清理间隔优化：将hbase.hstore.compaction.discharger.interval从默认3600秒缩短至1800秒，让系统更频繁地尝试清理被引用的压缩文件。
• 确认引用清理插件状态：确保hbase.regionserver.hfile.cleaner.plugins配置中启用了ReferenceHFileCleaner（默认已启用），该插件负责清理无引用的HFile，若未启用需添加配置：

  <property>
    <name>hbase.regionserver.hfile.cleaner.plugins</name>
    <value>org.apache.hadoop.hbase.regionserver.ReferenceHFileCleaner</value>
  </property>
  

4. 临时应急处理手段 #

• 手动触发flush与压缩：对问题Region执行手动flush（flush '{table-name}'）与major compact（major_compact '{table-name}'），强制清理无效的HFile引用。
• 迁移异常节点Region：将该节点上的所有Region迁移至其他正常节点，彻底释放节点堆内存，同时观察迁移后的节点是否复现问题，确认问题是否与特定Region绑定。

内容的提问来源于stack exchange，提问作者Sarthak Agarwal