HBase如何计算flush大小？memstore未达128MiB提前触发flush原因咨询

• 压缩导致日志大小与内存原始占用不一致
  你配置的hbase.hregion.memstore.flush.size统计的是memstore在JVM堆中的未压缩原始内存占用，而日志中打印的Flushed memstore data size=68.14 MB是flush后写入HFile的压缩后实际存储大小。你使用了Snappy压缩算法，通常业务场景下Snappy的压缩率在1.5x~2x之间，68MiB压缩后大小对应的未压缩原始内存占用刚好接近128MiB阈值，属于正常现象。
• 全局memstore阈值触发被动flush
  根据给出的配置可计算得到：RegionServer总堆内存为10GiB，全局memstore内存上限为10GiB * 0.4 = 4GiB，全局flush下限为4GiB * 0.95 = 3.8GiB。当该RegionServer上所有Region的memstore总内存占用达到3.8GiB时，HBase会主动选择memstore占用较高的一批Region触发flush，避免总内存触达4GiB上限导致写入阻塞，这种场景下即使单个Region未达128MiB阈值也会被提前flush。
• memstore内存统计包含额外开销
  hbase.hregion.memstore.flush.size统计的是memstore的全量内存占用，除了实际写入的业务数据外，还包含KV元数据、索引结构、JVM对象头、内存对齐等额外开销，通常业务数据量达到100MiB左右时，总内存占用就可能触达128MiB阈值触发flush，压缩后落盘的大小自然远低于128MiB。
• WAL日志容量阈值触发flush
  当RegionServer的WAL总写入量达到对应版本配置的容量阈值（2.0前版本对应hbase.regionserver.max.logs，2.0+版本对应hbase.wal.max.size）时，HBase会选择最早WAL文件关联的Region进行flush，用于标记这些WAL文件可回收，该场景也会触发未达阈值的memstore flush。

内容的提问来源于stack exchange，提问作者hba