如何解决RocksDB pinned immutable memtables内存无限增长问题

问题根因 #

被pinned的immutable memtable无法释放，核心原因是存在外部引用持有这部分内存的访问权限，只要引用没有被销毁，对应的memtable就会一直驻留内存，可通过以下方法排查解决：

1. 修复迭代器、快照的使用逻辑

• 所有通过NewIterator()创建的迭代器，使用完成后必须显式调用delete释放，禁止长期持有不用的迭代器，只要有一个迭代器引用了某个memtable中的数据，该memtable就会被标记为pinned无法回收
• 所有通过GetSnapshot()创建的快照，使用完成后必须调用ReleaseSnapshot()释放，快照会保留创建时刻的全量数据视图，会导致快照创建后生成的所有immutable memtable都被钉住无法释放

2. 调整内存管控相关参数

• 配置write_buffer_manager统一限制全局memtable总内存上限，达到阈值后RocksDB会自动触发flush，强制回收所有可释放的memtable资源，避免内存无限制增长
• 若业务不需要前缀查询优化，可将memtable_prefix_bloom_size_ratio设为0，减少额外的内存结构延长memtable的pinned周期
• 避免将max_open_files设为-1（无限制），可根据业务负载设置为1000~10000的合理值，减少文件句柄和关联内存的驻留时间

3. 优化Compaction性能

• 通过rocksdb.estimate-pending-compaction-bytes指标查看是否存在Compaction堆积，如果堆积字节数持续上涨，说明后台Compaction速度跟不上写入速度，可适当调高max_background_compactions参数提升并行Compaction能力，堆积的Compaction任务会持有旧memtable的引用导致无法释放
• 若业务存在大量大value写入，可开启BlobDB特性（设置enable_blob_files = true）将大value分离存储，降低memtable本身的体积，减少pinned状态下的内存占用

4. 排查版本已知问题

RocksDB 6.4.x之前的版本存在多个pinned memtable内存泄漏的已知bug，如果你使用的是更早的版本，可升级到最新稳定版验证问题是否解决。

内容的提问来源于stack exchange，提问作者cforever