如何使用AWS RDS Postgres的query_export_to_s3拆分导出CSV至S3

方案一：利用aws_s3.query_export_to_s3自带的文件拆分参数 #

aws_s3.query_export_to_s3本身支持通过max_file_size参数自动拆分文件，不需要额外调用split工具。你只需要在options中添加该参数，指定单个文件的最大容量（支持KB/MB/GB单位），函数会自动将导出内容拆分为多个文件，命名格式为原文件名.000、原文件名.001以此类推。

修改后的查询代码示例：

SELECT * FROM aws_s3.query_export_to_s3(
    'select * from products;',
    '(products-dev/products.csv,us-west-2)',
    options := 'format csv, delimiter '','', HEADER true, max_file_size ''100MB'''
);

注意：参数值需要用双单引号转义，或者用美元符字符串避免转义

方案二：先导出到本地再拆分上传（适合自定义拆分规则） #

如果需要按行数、自定义命名等更灵活的拆分逻辑，可以按以下步骤操作：

• 1. 使用Postgres的COPY命令将数据导出到RDS实例的临时目录（需要确保有写入权限）：

COPY (SELECT * FROM products) TO '/tmp/products.csv' WITH (FORMAT CSV, DELIMITER ',', HEADER);

• 2. 使用系统split工具拆分文件（需要RDS实例允许执行系统命令，可通过自定义参数组开启rds.allowed_extensions，或者通过EC2连接实例操作）：

# 按行数拆分，比如每10000行一个文件
split -l 10000 /tmp/products.csv /tmp/products_split_
# 或按大小拆分
split -b 100M /tmp/products.csv /tmp/products_split_

• 3. 将拆分后的文件逐个上传到S3（可通过aws s3 cp命令，需要RDS实例配置IAM角色具备S3写入权限）：

aws s3 cp /tmp/products_split_* s3://products-dev/

方案三：用Lambda/Glue处理已导出的大文件 #

如果不想在数据库层面操作，可以先导出完整的CSV到S3，再通过AWS服务自动拆分：

• 1. 保持原有导出逻辑，生成完整的大文件到S3
• 2. 创建Lambda函数，监听S3的ObjectCreated事件，当大文件上传后触发函数
• 3. 在Lambda函数中（用Python/Node.js等）读取S3文件，按指定规则拆分后，将拆分后的小文件上传回S3，最后删除原大文件

内容的提问来源于stack exchange，提问作者paul590