RocksDB写入缓存机制解析及跨列族场景下的缓存调优咨询

写入数据的缓存路径 #

• MemTable阶段：所有写入首先存入内存中的MemTable，此时读取这些数据直接命中内存，完全不需要磁盘IO。当MemTable达到阈值（由write_buffer_size控制），会转为Immutable MemTable，等待后台线程刷入磁盘SST文件。
• 刷盘后SST的缓存：刷入磁盘的SST文件数据，会被RocksDB的Block Cache（默认是LRU实现）缓存。当首次读取刷盘后的写入数据时，对应的SST数据块会被加载到Block Cache，后续相同数据的读取就能直接命中缓存，避免重复磁盘IO。Block Cache是RocksDB的核心读缓存组件，覆盖所有磁盘上的SST数据，包括刚完成刷盘的写入内容。

多列族交叉场景的优化手段（不止调大MemTable） #

• 共享Block Cache配置：给所有关联的列族配置共享的Block Cache，让不同列族的关联数据共用同一个缓存池，大幅提升交叉读取的命中率。创建共享缓存的示例代码：

  std::shared_ptr<Cache> shared_cache = NewLRUCache(1024 * 1024 * 1024); // 1GB缓存
  ColumnFamilyOptions cf_opts;
  cf_opts.block_cache = shared_cache;
  

• MemTable精细化调优：
  • 调大write_buffer_size能延长数据在MemTable的停留时间，但要结合内存总量控制，避免内存溢出；同时可以调整max_write_buffer_number，允许同时存在多个Immutable MemTable，避免刷盘阻塞写入。
  • 根据写入模式选择MemTable类型：批量写入为主可选VectorMemTable，点查频繁可选SkipListMemTable。
• 写入策略优化：
  • 对上游无顺序的更新做攒批处理，批量写入关联的多列族数据，减少MemTable的频繁刷盘，让关联数据更大概率留在内存或Block Cache中。
  • 调整level0_file_num_compaction_trigger等参数，延迟Level 0的合并操作，减少SST文件的碎片化，提升Block Cache的利用效率。
• 应用层辅助缓存：针对需要频繁构建的“完整对象”，在应用层添加内存缓存（比如哈希表），缓存已构建好的完整对象。但要注意处理多列族更新的一致性，比如采用版本号或失效标记来维护缓存有效性。

内容的提问来源于stack exchange，提问作者Dan