如何安全快速归档并清理PostgreSQL的pg_wal目录文件

1. 运行时自动清理pg_wal与加速归档 #

无需重启的自动清理配置 #

你不需要重启Docker容器即可启用新的归档配置，执行以下SQL命令重载postgres.conf，让更新后的archive_command立即生效：

SELECT pg_reload_conf();

PostgreSQL会在WAL文件完成归档后自动清理pg_wal目录中的对应文件，无需手动删除。如果之前未重载配置，容器会一直沿用旧的错误归档命令，导致文件持续堆积。

你可以通过以下SQL查看归档进度，确认哪些WAL文件尚未完成归档：

SELECT * FROM pg_stat_archiver;

加速积压WAL文件的归档 #

• 替换高效拷贝工具：将archive_command中的cp替换为rsync，它在处理大量文件时性能更优，示例命令：

  archive_command = 'test ! -f /wal_dmp/%f && rsync --quiet %p /wal_dmp/%f'
  

• 手动批量处理积压文件：若积压文件过多，可在容器内手动遍历pg_wal中未归档的文件，批量执行归档命令，示例：

  for wal_file in $(psql -U postgres -t -c "SELECT name FROM pg_ls_dir('pg_wal') WHERE name ~ '^[0-9A-F]{24}$'"); do
    test ! -f /wal_dmp/$wal_file && cp /var/lib/postgres/data/pg_wal/$wal_file /wal_dmp/$wal_file
  done
  

• 排查磁盘IO瓶颈：如果wal_dmp所在磁盘IO性能不足，可临时将归档目录切换至更快的存储（如SSD），待积压清理完成后再切回原存储。

2. 旧WAL归档文件的清理最佳实践 #

基于你每天夜间pg_dump的备份计划，只需保留24小时内的WAL归档，可参考以下安全清理方案：

使用官方工具pg_archivecleanup #

PostgreSQL自带的pg_archivecleanup可安全识别并删除不再需要的WAL归档文件，它会基于WAL文件的序列编号操作，避免误删仍需用于恢复的文件。
示例命令（清理/wal_dmp中早于指定WAL文件的所有归档）：

pg_archivecleanup /wal_dmp 000000010000000000000010

你可以结合每天的pg_dump任务，在备份完成后获取对应WAL起始编号，再执行清理操作。

定时脚本自动清理 #

编写Shell脚本，在每日备份完成后删除/wal_dmp中超过24小时的归档文件，示例：

#!/bin/bash
# 清理24小时前的WAL归档文件
find /wal_dmp -type f -mtime +1 -delete

注意：执行此脚本前，必须确认这些旧归档文件对应的WAL已被包含在最近的pg_dump备份中，或确实无需用于任何恢复场景。

关键注意事项 #

• 绝对不要直接删除pg_wal目录中的文件，必须由PostgreSQL自动清理，确保文件已完成归档。
• 清理归档前，先验证最近的pg_dump备份可正常恢复，避免因误删WAL导致备份失效。

内容的提问来源于stack exchange，提问作者ColinB