如何将Postgres WAL段匹配至对应的基础备份？

1. 如何通过archive_command/restore_command确定WAL对应的基础备份？ #

因为archive_command和restore_command仅能拿到%f（WAL文件名）和%p（本地路径），没法直接获取关联的基础备份信息，得靠额外标记手段：

• 基础备份时记录起始WAL：执行pg_basebackup时，备份目录会生成backup_label文件，里面包含该备份对应的起始WAL段（格式如START WAL LOCATION: 000000010000000000000005）。归档WAL时，可通过pg_controldata读取当前数据库的检查点WAL范围，结合已有的基础备份起始WAL，判断该WAL属于哪个备份的增量。
• 自定义归档元数据：归档WAL时，额外生成与WAL文件名对应的元数据文件（比如%f.meta），记录当前数据库的系统标识符（从pg_controldata获取）以及最近一次基础备份的ID/路径。恢复时先读取元数据，再匹配对应基础备份。

2. 多次initdb/switch_wal/pg_basebackup场景下，外部存储的分组管理方案 #

核心是按系统标识符（system_identifier）+ 基础备份时间戳/唯一ID分组，因为每次initdb都会生成新的system_identifier，这是区分不同数据库实例的关键：

• 目录结构设计：外部存储根目录按system_identifier分一级目录，每个实例目录下再按基础备份的时间戳或唯一ID分二级目录，示例结构：

  s3://postgres-backups/
  ├─ 68347216-1234-5678-9abc-def012345678/
  │  ├─ basebackup_20240520_1030/
  │  │  ├─ 备份文件...
  │  │  └─ backup_label
  │  ├─ wal/
  │  │  ├─ 000000010000000000000005
  │  │  └─ 000000010000000000000006
  └─ 98765432-4321-8765-cba9-0fedcba21098/
     ├─ basebackup_20240521_1400/
     └─ wal/
  

• 备份时自动标记：执行pg_basebackup前，通过pg_controldata -D $PGDATA | grep "system_identifier"获取系统ID，在外部存储创建对应目录，同时把backup_label里的起始WAL记录到备份目录的元文件（比如wal_start.txt）中。归档WAL时，先匹配当前系统ID，再找到最近的基础备份，将WAL放到对应实例的wal目录下。
• 清理逻辑：删除某个基础备份时，先读取它的起始WAL和下一个基础备份的起始WAL，删除该区间内的WAL；如果是最后一个备份，则删除从它起始WAL到当前的所有WAL（需保留数据库仍在使用的WAL）。

3. WAL段名称前缀能不能用来匹配对应基础备份？ #

可以，但有前提：

• WAL文件名前8位是时间线ID（比如00000001），后面是逻辑日志位置。时间线ID在initdb时初始为1，每次pg_basebackup后若做恢复并启动新分支，时间线ID会递增。
• 同一实例（相同system_identifier）下，时间线ID可区分不同恢复分支；但同一时间线内的多个基础备份，仅靠前缀（时间线ID）无法区分，还需结合WAL的起始位置。
• 比如同一时间线00000001下的两个基础备份，分别起始于000000010000000000000005和000000010000000000000010，此时WAL前缀相同，需用起始位置划分归属。

4. WAL能否应用到非关联基础备份恢复后的状态？ #

不行，WAL是依赖特定基础备份起始状态的增量差异：

• 每个基础备份对应特定的数据库状态（通过backup_label里的检查点信息和系统标识符绑定），WAL记录的是该状态之后的所有修改操作。
• 若将WAL应用到非关联基础备份，数据库会因页校验和不匹配、事务ID不一致等报错，甚至损坏数据。只有当两个基础备份属于同一时间线，且目标备份的结束WAL位置早于要应用的WAL起始位置时，才可以（本质是该WAL属于目标备份之后的增量）。

5. 如何组织外部存储实现批量删除，同时避免WAL覆盖？ #

• WAL按实例+时间线归档：每个实例的WAL单独存放在对应system_identifier的wal目录下，Postgres生成的WAL文件名本身唯一（同一实例时间线ID递增，不同实例system_identifier不同），不会出现覆盖问题。
• 备份与WAL的关联记录：每个基础备份目录下保存wal_range.txt文件，记录该备份对应的WAL起始位置和下一个备份的WAL起始位置（格式如start: 000000010000000000000005, end: 000000010000000000000010）。批量删除时，直接删除基础备份目录，再根据范围删除对应区间的WAL。
• 保留活跃WAL：删除前通过pg_controldata查看当前数据库的检查点位置，确保不会删除仍在使用的WAL。

内容的提问来源于stack exchange，提问作者404