Raft分布式文件系统日志压缩快照存储内容及高效快照优化咨询

1. 快照中存储的数据 #

• 已提交的文件系统核心元数据：包括目录结构、文件索引信息、权限配置、文件与存储块的映射关系、文件版本记录等，这是支撑文件系统运行的核心状态
• Raft集群的自身元数据：快照生成时的当前任期号、已提交的最大日志索引（last included index）、集群节点的当前配置（活跃节点列表、角色分配等），这些是节点恢复后能正确衔接后续日志的关键标识
• 必要的全局固化状态：比如文件系统的总容量统计、已用空间数据这类需要持久化的全局统计信息；一般不会存储完整的文件块数据，仅保留块的引用信息（全量快照场景除外）

2. 避免存储空间翻倍的高效处理方案 #

• 增量快照替代全量快照：每次仅生成与上一次快照的差异部分，比如记录这段时间新增的文件、修改的元数据、变更的集群配置，无需重复存储全量状态，大幅降低快照体积
• 原子化快照生成与日志清理：快照先写入临时文件，生成完成后立即删除对应的旧日志，再将临时文件转正为正式快照。避免旧日志与新快照同时完整存在，从根源上杜绝双倍存储占用
• 后台异步生成+分段清理：在系统负载低的时段启动后台线程生成快照，生成过程中可分段清理已被快照覆盖的旧日志片段，无需等整个快照生成完成再统一清理，降低存储占用峰值
• 快照压缩与归档：用轻量压缩算法（如snappy、gzip）压缩快照文件，结构化元数据的压缩比通常很高；本地仅保留最近1-2份快照，旧快照归档到低成本离线存储，释放本地空间
• 合理设置快照触发阈值：比如设置日志达到固定条数（如10000条）或间隔固定时间才触发快照，避免过于频繁生成快照带来的存储波动

内容的提问来源于stack exchange，提问作者Dror Chen