TimescaleDB备份忽略数据保留策略删除数据的方案咨询

针对pgBackRest的调整方案 #

1. 调整备份时机+持续WAL归档 #

数据保留策略会自动删除旧chunk，要让备份包含即将被删除的历史数据，核心是在chunk被删除前完成备份，并确保WAL日志完整归档：

• 调整保留策略的执行时间（比如设为凌晨2点），将pgBackRest备份任务提前到凌晨1点，确保备份覆盖所有待删除的chunk。
• 配置pgBackRest持续推送WAL日志到S3，通过repo-retention-archive参数设置归档日志的保留时长，确保覆盖你需要留存的历史数据周期，避免WAL被过早清理。即使后续chunk被删除，也能通过基础备份+WAL回放恢复到删除前的状态。

2. 临时禁用保留策略再备份（自动化脚本） #

如果允许短时间禁用保留策略，可以通过脚本自动化完成备份流程：

1. 备份前执行SQL禁用策略：

   SELECT remove_retention_policy('your_hypertable_name');
   

2. 运行pgBackRest备份命令（示例）：

   pgbackrest --stanza=my-stanza backup --type=full
   

3. 备份完成后立即恢复保留策略：

   SELECT add_retention_policy('your_hypertable_name', INTERVAL '30 days'); -- 替换为你的保留周期
   

注意：此方法需确保备份期间磁盘有足够空间容纳未被删除的旧chunk，备份完成后立刻恢复策略，避免磁盘溢出。

替代方案 #

1. TimescaleDB chunk 定向导出 #

利用TimescaleDB的timescaledb_experimental.chunk_export函数，在chunk被保留策略删除前主动归档到S3：

1. 查询即将被删除的chunk：

   SELECT show_chunks('your_hypertable_name', older_than => INTERVAL '30 days');
   

2. 导出指定chunk到本地临时目录：

   SELECT timescaledb_experimental.chunk_export('<chunk_name>', '/tmp/chunk_backups/');
   

3. 用AWS CLI同步到S3：

   aws s3 cp /tmp/chunk_backups/<chunk_name> s3://your-bucket/chunk-archives/ --recursive
   

可将上述步骤写成定时脚本，在保留策略执行前自动运行，确保每个chunk被删除前完成归档。恢复时使用timescaledb_experimental.chunk_import即可按需导入历史chunk。

2. PostgreSQL逻辑备份按时间分片 #

对于数据量不大的场景，用pg_dump按时间范围导出历史数据并归档：

# 导出30天前的历史数据
pg_dump -d your_db -t your_hypertable --data-only --where "time < now() - INTERVAL '30 days'" > $(date +%Y%m%d)_old_data.sql
# 同步到S3
aws s3 cp $(date +%Y%m%d)_old_data.sql s3://your-bucket/historical-backups/

这种方式备份的是SQL格式数据，恢复时直接执行SQL即可，但大场景下效率低于物理备份或chunk导出。

内容的提问来源于stack exchange，提问作者WillowOfTheBorder