如何使用aws_s3扩展将Amazon RDS PostgreSQL数据以gzip格式导出到S3？

方案一：利用aws_s3扩展原生压缩支持 #

这是最直接高效的方案，aws_s3的export_to_s3函数原生支持gzip压缩，无需额外工具，由RDS直接处理压缩并上传到S3，能大幅减少传输的数据量和S3存储占用。

执行以下SQL即可完成压缩导出：

SELECT aws_s3.export_to_s3(
    'SELECT * FROM your_large_table',
    aws_commons.create_s3_uri('your-target-bucket', 'path/to/export/file.gz', 'your-aws-region'),
    options := 'format csv, compression gzip'
);

关键说明： #

• 确保RDS实例已启用aws_s3和aws_commons扩展（若未启用，先执行CREATE EXTENSION IF NOT EXISTS aws_s3; CREATE EXTENSION IF NOT EXISTS aws_commons;）
• 关联的IAM角色需具备S3写入权限（s3:PutObject）
• 压缩过程由RDS实例处理，会占用一定CPU资源，建议在业务低峰期执行

方案二：pg_dump + gzip + AWS CLI（灵活控制压缩级别） #

如果需要自定义压缩级别（比如更高压缩率或更快压缩速度），可以通过外部工具结合的方式实现：

1. 在可连接RDS的环境（EC2实例或本地机器）安装pg_dump和AWS CLI，并配置好数据库访问权限及S3操作权限
2. 执行导出并压缩的命令：

# 最高压缩率导出（-9），适合追求最小文件体积的场景
pg_dump -h your-rds-endpoint -U your-db-user -d your-db-name -t your_large_table --data-only | gzip -9 > table_export.gz

# 最快压缩速度导出（-1），适合优先考虑导出效率的场景
pg_dump -h your-rds-endpoint -U your-db-user -d your-db-name -t your_large_table --data-only | gzip -1 > table_export.gz

3. 将压缩后的文件上传到S3：

aws s3 cp table_export.gz s3://your-target-bucket/path/to/export/

进阶优化：并行压缩 #

如果要进一步提升压缩速度，可使用pigz（并行gzip工具）替代gzip，利用多CPU核心加速压缩：

pg_dump -h your-rds-endpoint -U your-db-user -d your-db-name -t your_large_table --data-only | pigz -p 4 > table_export.gz

（-p 4表示使用4个CPU核心，可根据环境调整）

性能优化补充建议 #

• 分区导出：若目标表是分区表，可按分区分别执行导出任务，并行处理降低单任务负载
• 并行导出：使用pg_dump的-j参数开启并行导出（如-j 4），配合并行压缩工具，进一步提升整体效率
• 临时升级RDS实例：导出前临时升级RDS实例的CPU/内存规格，提升压缩和数据处理速度，完成后再降级
• 同区域操作：确保导出环境（EC2/本地）、RDS、S3处于同一AWS区域，避免跨区域网络延迟和额外带宽成本

内容的提问来源于stack exchange，提问作者Niki