PgBackRest下增量备份与WAL归档的差异及相关疑问
关于WAL归档与增量备份的疑问解答
首先纠正一个核心认知误区:你提到的「增量备份是推送上次备份完成后生成的所有WAL文件」的说法存在偏差。WAL归档的核心是持续上传产生的WAL日志文件,而增量备份的操作对象是数据库的数据页,两者本质是完全不同的组件。
为什么配置了WAL归档还需要使用增量备份?
- 大幅提升灾难恢复速度:如果仅依赖全量基础备份+WAL归档做恢复,需要从基础备份的产生时间点开始,重放之后所有的WAL日志才能恢复到目标状态。如果两次全量备份间隔一周,意味着要重放整整一周的WAL,在数据量大的场景下可能需要数小时甚至数天的重放时间。而增量备份会直接存储备份时间点已经变更完成的最新数据页,恢复时只需要合并全量备份+多层增量备份,再重放增量备份结束到目标时间点的少量WAL即可,恢复速度可以提升数倍到数十倍。
- 降低长期存储成本:WAL日志会记录所有数据变更的完整过程,哪怕同一个数据页在短时间内被修改几十次,WAL里也会保存每一次修改的记录。而增量备份只会保留备份时间点该数据页的最终状态,同个数据页的多次变更只会存储一次,长期保留备份的场景下,存储成本比保留全量WAL低很多。
- 降低WAL链依赖风险:WAL归档是连续的日志链,只要链上任意一个WAL文件损坏、丢失,从该文件之后的所有变更都无法通过WAL重放恢复。而增量备份相当于定期给数据库做变更快照,即使中间某段WAL归档损坏,也可以基于最近的增量备份做恢复,大幅提升备份体系的可靠性。
增量备份的开销为什么不是几乎为零?
增量备份的开销远高于预期的核心原因,就是它的操作逻辑和WAL归档完全不同:
- 增量备份执行时,首先需要遍历数据库的全部数据文件,对比每个数据页的LSN(日志序列号)和上次备份的基准LSN,判断该页是否在两次备份间隔内发生过变更,只有变更过的页才会被备份。如果数据库数据量达到TB级别,仅遍历全量数据页的过程就会产生不小的磁盘IO开销。
- 备份过程中还需要对备份的页做校验、可选压缩,这些操作会消耗额外的CPU资源,变更的页越多,需要消耗的网络传输资源也越高。
- 主流的数据库增量备份实现都需要在备份启动和结束时持有短时间的轻量全局锁,对高负载的生产库也会产生可观测的性能抖动。
两者在备份体系中是互补关系:WAL归档用来支持任意时间点恢复,增量备份用来优化恢复速度、存储成本和备份可靠性,二者没有替代关系。
内容的提问来源于stack exchange,提问作者Patanouk
相关产品推荐
相关产品推荐

