使用Faust时Rocks DB的优势及跨机器故障恢复的疑问

• 核心结论：更换新机器启动消费者时，默认场景下确实需要完整读取changelog主题来重建Faust表的内存状态；但并非只能在同一机器上体现RocksDB的优势，通过配置共享存储或快照备份策略，跨机器也能利用RocksDB实现快速恢复。

• 原生RocksDB的优势边界：

  • 同一机器重启时，RocksDB会直接加载本地磁盘上持久化的状态快照，完全不需要读取changelog，能实现秒级的快速恢复，这是它最直接的价值场景。
  • 若没有额外配置，跨机器重启时新机器无法访问原机器的RocksDB本地数据，只能依赖changelog从头回放重建状态，此时RocksDB的快速恢复优势无法发挥。

• 跨机器快速恢复的可行方案：

  • 把RocksDB的数据目录挂载到共享分布式存储（如NFS、CephFS），新机器启动时直接挂载该共享目录，RocksDB就能加载已有快照，仅需回放故障期间新增的changelog事件，无需全量读取。
  • 定期将RocksDB的完整快照备份到对象存储，新机器启动时先下载快照恢复到本地RocksDB目录，再回放快照之后的changelog增量数据，大幅缩短恢复耗时。

内容的提问来源于stack exchange，提问作者Plesiosaurus