RDS PostgreSQL 10分区表低延迟实时复制到同版本RDS方案咨询

一、可行性结论 #

该需求完全可实现。PostgreSQL 10版本已原生支持逻辑复制特性，主流云厂商的同版本RDS PostgreSQL实例均开放逻辑复制所需的参数配置权限，完全适配你的单分区表同步、低延迟、动态分区调整的场景要求。

二、推荐实现方案 #

优先选用逻辑复制方案，该方案仅同步你指定的分区表数据，对源主库的额外开销仅为WAL日志解析的轻量负载，同步延迟普遍在毫秒级，完全匹配你的业务诉求，具体配置和注意事项如下：

• 前置准备
  • 修改源实例RDS1的参数组配置，将wal_level参数调整为logical，调整后需重启实例生效
  • 打通源端和目标端的网络连通性，确保目标实例可以访问源实例的5432端口，安全组策略放通对应访问权限
  • 目标实例提前创建和源端结构完全一致的分区父表，无需预先创建子分区
• 动态分区适配
  针对你按日新增、移除分区的场景，可二选一适配方案：
  • 方案1：在源端配置分区创建、删除的事件触发器，当有分区变更操作时，自动向目标端发送相同的DDL语句执行，同时将新增的分区加入发布对象列表，保障增量数据实时同步
  • 方案2：在源端或调度节点配置pg_cron定时任务，每日固定时间校验源端新增/删除的分区，批量同步分区结构到目标端后更新发布订阅配置，适配固定周期的分区调整规则
• 额外注意事项

  不推荐使用物理复制实现该需求：物理复制为全实例级同步，无法只同步单张指定分区表，会占用更多网络、IO资源，额外增加主库不必要的运行负载，不符合本次需求的核心目标。

内容的提问来源于stack exchange，提问作者Yuval Kaufman