Amazon RDS Postgres至Snowflake迁移：如何基于RDS表CDC实现数据迁移

1. 前置环境配置 #

• 确认RDS Postgres实例版本满足要求：PostgreSQL 10.4及以上版本原生支持逻辑复制，低于该版本需先升级实例
• 开启RDS逻辑复制能力：修改RDS参数组，将rds.logical_replication设为1，wal_level设为logical，max_wal_senders、max_replication_slots的数值大于你计划运行的CDC任务数，修改完成后重启RDS实例生效
• 为迁移账号赋权：给用于迁移的Postgres账号授予REPLICATION、LOGIN权限，以及所有待迁移表的SELECT权限
• Snowflake侧预配置：提前创建对应数据库、Schema，以及和RDS表结构匹配的目标表，注意字段类型映射规则：比如Postgres的TIMESTAMPTZ对应Snowflake的TIMESTAMP_TZ、JSONB对应VARIANT，避免类型转换报错

2. 全量基准数据同步 #

• 为每张待迁移表创建逻辑复制槽，指定Postgres原生的pgoutput插件，创建命令：SELECT pg_create_logical_replication_slot('自定义槽位名称', 'pgoutput');
• 记录创建复制槽返回的LSN（日志序列号），作为后续增量CDC同步的起始位点，确保全量、增量同步无数据丢失或重复
• 用pg_dump导出静态表快照，导出时添加--snapshot参数指定和复制槽一致的快照，避免导出过程中数据变更导致不一致，导出命令示例：pg_dump -h RDS实例端点 -U 迁移账号 -d 数据库名 -t 表名 --snapshot=快照ID -f 导出文件路径.sql
• 全量数据导入Snowflake：先将导出文件上传到Snowflake内部Stage，再用COPY INTO命令批量导入，效率远高于逐行插入

3. 增量CDC同步链路搭建 #

• 在Postgres侧创建发布规则，将所有待迁移表加入发布，命令：CREATE PUBLICATION 自定义发布名 FOR TABLE 表1,表2,表3;，如果需要迁移全库表可以替换为FOR ALL TABLES
• 选择CDC同步方案，两种主流可选：
  • AWS原生服务方案：用AWS DMS（数据库迁移服务）作为CDC采集端，源端配置为RDS Postgres，目标端配置为Snowflake，DMS会自动解析WAL日志，把INSERT/UPDATE/DELETE操作转换为对应SQL同步到Snowflake，无需自行运维组件，适合轻量化迁移场景
  • 开源工具方案：用Debezium采集RDS WAL日志，将变更事件输出到Kafka，再通过Snowflake Kafka Connector将变更事件应用到目标表，自定义程度高，适合有复杂清洗、转换需求的场景
• 开启幂等配置：无论用哪种方案，都要开启基于主键的upsert逻辑，避免网络重试、位点回溯导致的重复数据问题；删除操作根据业务需求配置为硬删除或软删除标记

4. 数据校验与业务割接 #

• 存量数据校验：抽样对比RDS和Snowflake的表行数、主键唯一值、关键指标聚合结果，确认全量数据完全一致
• 增量数据校验：运行CDC链路数小时后，随机选取多个时间点的变更操作，对比两端数据变化是否匹配，确认链路延迟符合预期（正常场景下为秒级）
• 业务割接：先将业务流量切为只读状态，等待CDC链路同步到最新位点，确认两端数据完全一致后，将业务读请求切到Snowflake，最后停止CDC同步任务即可

注意：如果RDS表存在大字段（TEXT、BYTEA等大值类型），需调整WAL相关参数避免复制延迟过高；同步过程中如果源端做Schema变更，需要先在Snowflake侧执行对应DDL，避免CDC同步报错。

内容的提问来源于stack exchange，提问作者rahul s