跨区域无公网AWS RDS PostgreSQL表数据迁移方案咨询

原方案的优缺点 #

原方案（快照导出S3→转.sql→Lambda插入）可行但存在明显痛点：

• 核心问题：快照导出转.sql时，JSON数组类型易出现转义错误、格式丢失，导致插入失败
• 额外成本：需手动处理格式转换，全量快照导出后还要筛选目标数据，步骤繁琐
• 潜在风险：S3存储.sql文件若未加密可能存在数据泄露风险，Lambda处理大批次数据易触发超时

更优安全替代方案 #

1. AWS数据库迁移服务（DMS） #

这是最适配AWS生态的跨区域迁移方案，完全贴合无公网场景：

• 网络配置：通过VPC对等连接或中转网关打通两个区域的VPC，配置DMS复制实例在其中一个VPC内，无需公网
• 数据迁移：支持按WHERE条件筛选table_b的部分数据，原生兼容PostgreSQL的JSON/JSONB类型，无需格式转换
• 安全保障：全程VPC内传输，可开启SSL加密，DMS任务支持数据加密，IAM角色严格控制权限
• 优势：支持增量迁移（若后续需要同步），自动化程度高，无需手动编写转换逻辑

2. VPC对等连接+PostgreSQL原生工具 #

适合数据量中等、需要精准控制迁移逻辑的场景：

• 先建立两个区域VPC的对等连接，配置双方RDS的安全组，允许目标端口（默认5432）的入站访问
• 在RDS A所在VPC内启动一台EC2实例（或使用VPC内的Lambda），安装psql客户端
• 使用pg_dump导出RDS B中table_b的指定数据：

  pg_dump -h rds-b-endpoint -U username -d dbname -t table_b --where "your_filter_condition" -f table_b_partial.sql
  

• 再通过psql连接RDS A执行导入：

  psql -h rds-a-endpoint -U username -d dbname -f table_b_partial.sql
  

• 安全优势：全程VPC内通信，原生工具避免JSON类型转换问题，EC2可配置最小权限IAM角色

3. Lambda跨VPC直连迁移（小数据量场景） #

如果迁移数据量较小（单Lambda执行周期内可完成）：

• 在RDS B的VPC内部署Lambda，配置VPC访问权限，添加RDS B的安全组允许Lambda访问
• 通过VPC对等/中转网关让该Lambda可以访问RDS A的VPC
• 使用psycopg2库连接两个RDS，查询RDS B中table_b的目标数据，直接插入到RDS A的同名表
• 注意：配置Lambda足够的内存和超时时间，开启PostgreSQL SSL连接确保数据传输加密

原方案的优化建议（若坚持使用） #

如果必须沿用快照+S3+Lambda的路径，解决JSON类型问题：

• 快照导出到S3时选择Parquet格式而非.sql，Parquet会保留原生数据类型（包括JSON数组）
• Lambda中使用pandas读取Parquet文件，再通过psycopg2的execute_values批量插入，直接传递JSON类型数据，避免转义错误
• 开启S3服务器端加密（SSE-KMS），给Lambda配置仅能访问目标S3对象和RDS的最小权限IAM角色

内容的提问来源于stack exchange，提问作者S A R