基于时间与状态条件归档RDS至S3的技术方案咨询

针对你用pg_cron将数据同步到归档schema后，要把这些表导出到S3的需求，给你几个落地性强的方案：

方案一：pg_dump + AWS CLI（最通用，适合批量归档） #

这是最直接的方式，适合定时批量导出整个归档schema的所有表：

• 先在RDS的pg_cron里新增定时任务，完成数据复制到归档schema后，执行导出和上传操作
• 核心命令示例（可以写到shell脚本里，用pg_cron调用脚本）：

  # 导出归档schema的所有表到临时压缩文件，带时间戳避免重名
  pg_dump -h <你的RDS端点> -U <数据库用户> -d <数据库名> -n <归档schema名> -Z 9 -f /tmp/archive_$(date +%Y%m%d_%H%M%S).sql.gz
  
  # 上传到S3指定路径，按年月分层存储便于管理
  aws s3 cp /tmp/archive_*.sql.gz s3://你的归档bucket/rds-archive/$(date +%Y)/$(date +%m)/
  
  # 清理本地临时文件
  rm /tmp/archive_*.sql.gz
  

• 注意事项：
  • 给RDS实例绑定的IAM角色添加s3:PutObject权限，不用在实例里存AK/SK，更安全
  • 用-Z 9开启最高压缩率，减少S3存储成本和传输时间；也可以用-Fc导出PostgreSQL自定义格式，后续恢复更高效

方案二：AWS DMS 同步归档表到S3（自动化程度高） #

如果不想自己写脚本，用AWS DMS可以实现全量+增量同步归档表到S3：

• 创建DMS复制实例，源端选你的RDS PostgreSQL，目标端选S3 bucket
• 配置表映射时，只选择归档schema下的所有表，设置同步模式为“全量初始同步+持续捕获”或者按天调度全量同步
• 输出格式推荐选Parquet，比CSV压缩率高，后续用Athena查询也更高效
• 可以给S3 bucket配置生命周期规则，自动把超过30天的归档文件转存到Glacier，进一步降低长期存储成本

方案三：PostgreSQL aws_s3 扩展（轻量化单表导出） #

RDS原生支持aws_s3扩展，适合直接从SQL层面导出单表数据到S3：

• 先启用扩展：

  CREATE EXTENSION IF NOT EXISTS aws_s3;
  CREATE EXTENSION IF NOT EXISTS aws_commons;
  

• 编写SQL语句导出单表，比如：

  SELECT aws_s3.query_export_to_s3(
      'SELECT * FROM archive_schema.order_main',
      aws_commons.create_s3_uri('你的归档bucket', 'archive/order_main_20240520.csv', 'us-east-1')
  );
  

• 要导出所有关联表的话，可以写个PL/pgSQL函数遍历归档schema的所有表，批量执行导出，然后用pg_cron定时调用这个函数
• 注意：这个方式适合导出单表数据，关联数据可以通过JOIN语句组合后导出，比如SELECT * FROM archive_schema.order_main o JOIN archive_schema.order_item i ON o.id = i.order_id

实操建议 #

• 每次归档后先验证S3文件的完整性，比如计算本地文件的MD5，和S3对象的ETag对比，确认无误后再清理归档schema的表
• 如果是增量归档，给归档表加个archived_at字段标记数据移入归档的时间，每次只导出archived_at在指定时间段内的数据，避免重复导出
• 长期归档的文件，建议用S3智能分层或者Glacier存储类，降低存储成本

内容的提问来源于stack exchange，提问作者user973347