如何将生产PostgreSQL增量变更同步到Azure上的目标PostgreSQL数据库

问题1：目标库重放生产库归档WAL的操作步骤 #

• 先确认初始备份一致性：你当前Azure上的目标库是通过生产库全量备份还原的，需要确保该全量备份是生产库开启WAL归档后生成的基础备份，且备份对应的起始LSN之后的归档WAL没有断档，否则会出现重放失败的问题。
• 配置目标库恢复参数：编辑目标库的postgresql.conf文件，添加如下配置：

  # 路径替换为你把生产WAL同步到Azure服务器后的本地存放目录
  restore_command = 'cp /data/archived_wal/%f %p'
  # 跟随生产库的最新时间线，避免时间线分叉导致同步中断
  recovery_target_timeline = 'latest'
  

• 添加恢复标识文件：PostgreSQL 12及以上版本在目标库的数据目录下创建空文件recovery.signal；11及更早版本则在数据目录下创建recovery.conf，将上面的restore_command参数写入该文件即可。
• 启动目标库：启动后目标库会自动进入恢复模式，按顺序读取归档目录下的WAL文件持续重放，直到所有可用WAL重放完成。如果需要持续同步，只需将生产端新生成的归档WAL实时同步到Azure服务器的对应目录，目标库会自动识别新WAL并继续重放。

问题2：其他无需全量替换的增量同步方案 #

• 内置逻辑复制：PostgreSQL 10及以上版本自带的功能，不需要整库重放WAL，支持单独同步指定库、指定表，对源库性能影响更小，且不要求源端和目标端大版本完全一致，仅不支持部分DDL自动同步。
• 触发式增量同步：在生产库需要同步的表上创建触发器，捕获所有增删改操作写入专门的增量日志表，按固定周期将日志表的数据同步到目标库后清空日志，适合需要自定义同步规则的轻量场景，但会增加源库写入开销。
• CDC（变更数据捕获）同步：通过解析WAL文件提取行级变更事件，将事件同步到目标库执行，支持数据过滤、格式转换，也可以适配异构数据库同步的需求。

问题3：可用的开源同步工具 #

• 原生工具组合pg_basebackup+WAL归档：无额外依赖，就是你当前计划使用的物理同步方案，同步速度快、数据一致性高，适合整库灾备场景。
• pglogical：开源逻辑复制扩展，比PostgreSQL内置逻辑复制功能更完善，支持DDL同步、冲突解决、多源复制等场景。
• Debezium：开源CDC工具，支持解析PostgreSQL WAL输出标准化变更事件，配合消息队列可实现高可靠的多下游同步，适合复杂架构场景。
• Barman：专门的PostgreSQL备份恢复管理工具，内置WAL归档管理、增量备份、时间点恢复功能，可以自动化实现WAL重放同步的全流程，降低人工运维成本。
• pg_diff：数据库对象和数据比对工具，可对比生产库和目标库的差异生成增量SQL，在目标库执行即可完成同步，适合数据量小、同步频率低的场景。

实用建议：如果你的场景是做灾备，要求目标库和生产库完全一致，优先选择原生WAL物理重放方案，配置简单可靠性高；如果需要同步部分表、或者目标库本身存在写入业务，优先选择逻辑复制相关方案。运维过程中需要重点监控WAL归档的连续性，避免断档导致同步中断。

内容的提问来源于stack exchange，提问作者ABHISHEK KUMAR SINGH