Debezium对接RDS多可用区PostgreSQL主备故障切换问题咨询

风险本质说明 #

你提到的数据丢失风险是逻辑复制场景下的原生问题：PostgreSQL的逻辑复制槽属于主节点本地元数据，默认不会同步到备节点。RDS多可用区故障切换完成后，新主节点（原备节点）默认无可用复制槽，Debezium重连后才会触发新槽创建，这个时间差内的新写入数据不会被捕获，直接导致同步丢失。

可落地的规避方案 #

• 开启备节点复制槽同步配置
  RDS PostgreSQL 12.4及以上版本支持rds.logical_replication_on_replica参数，开启后备节点会持续同步主节点的逻辑复制槽状态，故障切换完成后新主节点上已经存在可用的复制槽，完全消除建槽时间差。注意开启该参数需要同时设置wal_level=logical，修改后重启实例生效。
• 调整Debezium重试参数避免异常退出
  将连接器配置中的connection.attempts调大到至少10次，connection.backoff.ms调整为3000，保证故障切换过程中Debezium不会因为重试次数耗尽而停止运行，切换完成后可直接复用预创建的复制槽继续同步，不需要重新创建。
• 流量管控兜底方案
  如果使用的RDS版本不支持备节点同步复制槽：
  1. 计划内切换场景：先暂停业务写入，等Debezium监控确认追平所有WAL、偏移量提交完成后再执行切换，切换完成验证复制槽存在后再恢复写入
  2. 计划外故障切换场景：切换完成后先暂停业务写入，手动比对Debezium记录的最新WAL位点和新主节点当前WAL位点，确认位点连续后再恢复业务；如果出现位点断档，触发Debezium全量快照补全断档区间的数据。
• 配置一致性校验和监控
  定期（建议每小时）抽取两端热点表的最新100条数据做一致性校验，同时配置监控告警，监控Debezium指标LastEventProcessingDelay，如果指标持续为0超过5分钟就触发告警，第一时间排查同步断流问题。

内容的提问来源于stack exchange，提问作者giamo