如何程序化将聚合后的Redshift表导出至S3（每日覆盖CSV）

核心方法：Redshift UNLOAD 命令 #

Redshift官方推荐用UNLOAD命令导出数据到S3，比常规SELECT导出效率更高，尤其适配大表或聚合数据场景。它支持直接指定S3路径、IAM角色授权，还能配置CSV格式、表头这类通用需求。

基础UNLOAD示例

UNLOAD ('SELECT col1, col2, col3 FROM your_aggregated_table')
TO 's3://your-bucket/export-path/daily_export_'
IAM_ROLE 'arn:aws:iam::123456789012:role/RedshiftUnloadS3Role'
FORMAT CSV
HEADER
DELIMITER ','
PARALLEL OFF;

• PARALLEL OFF：生成单个CSV文件，方便后续覆盖操作；如果需要并行导出提升速度，可设为ON，但清理时要删除路径下所有part-*文件
• HEADER：导出带表头的CSV，符合常规数据使用习惯
• 绑定的IAM角色需具备S3的PutObject权限，且角色信任策略需允许Redshift服务假定该角色

实现每日调度+文件覆盖 #

UNLOAD本身不支持直接覆盖S3文件，需先清理目标路径的旧文件，再执行导出。以下是几种可行的自动化方案：

方案1：Lambda + CloudWatch Events（轻量首选）

1. 创建Lambda函数，包含两步逻辑：
   • 用boto3调用S3 API删除目标路径下的所有文件：

     import boto3
     s3 = boto3.client('s3')
     def delete_old_files():
         bucket = 'your-bucket'
         prefix = 'export-path/'
         response = s3.list_objects_v2(Bucket=bucket, Prefix=prefix)
         if 'Contents' in response:
             keys = [{'Key': obj['Key']} for obj in response['Contents']]
             s3.delete_objects(Bucket=bucket, Delete={'Objects': keys})
     

   • 用psycopg2连接Redshift执行上述UNLOAD语句
2. 配置CloudWatch Events规则，设置每日定时触发该Lambda函数

方案2：Step Functions + CloudWatch Events（适合复杂流程）

如果需要重试机制、错误告警等更可靠的流程编排，用Step Functions串联两个步骤：

1. 第一步：调用Lambda执行S3文件清理
2. 第二步：调用Lambda或Redshift Data API执行UNLOAD命令
3. 配置CloudWatch Events每日触发状态机

方案3：Shell脚本 + EC2/本地调度（传统方式）

若习惯用脚本，可编写shell脚本结合cron调度：

# 先清理S3旧文件
aws s3 rm s3://your-bucket/export-path/ --recursive

# 用psql连接Redshift执行UNLOAD
psql -h your-redshift-cluster-endpoint -U username -d dbname -c "
UNLOAD ('SELECT col1, col2, col3 FROM your_aggregated_table')
TO 's3://your-bucket/export-path/daily_export_'
IAM_ROLE 'arn:aws:iam::123456789012:role/RedshiftUnloadS3Role'
FORMAT CSV
HEADER
DELIMITER ','
PARALLEL OFF;
"

随后在EC2或本地机器上配置cron，每日执行该脚本

关键权限注意事项 #

• Redshift的IAM角色必须拥有S3目标桶的PutObject权限，同时Redshift服务需被允许假定该角色（角色信任策略包含redshift.amazonaws.com）
• 执行S3清理操作的实体（Lambda角色/EC2 IAM角色/本地用户）必须拥有S3目标桶的DeleteObject和ListBucket权限
• 若Redshift集群在VPC内，需配置S3 VPC端点或NAT网关，确保集群能访问S3

内容的提问来源于stack exchange，提问作者Caroline Silva