如何在Redshift UNLOAD语句中为分区文件设置动态文件名

不能直接通过你提供的UNLOAD语句实现将分区内文件名修改为newyork_000、losangeles_000这类基于列值的格式。

原因 #

Redshift的UNLOAD命令在使用PARTITION BY参数时，分区文件夹内的文件名由系统自动生成：当开启PARALLEL OFF时，每个分区下只会生成一个名为000的文件；如果开启并行，文件名会是类似000、001的序列。UNLOAD本身没有参数支持将分区列的值嵌入到文件名中。

替代方案 #

1. 按分区值单独执行UNLOAD

针对每个城市单独执行UNLOAD命令，手动指定文件名前缀：

-- 导出New York的数据
UNLOAD ('SELECT * FROM temp_table WHERE city = ''New York''')
TO 's3://<s3 bucket>/folder_1/city=New York/newyork_'
IAM_ROLE '<aws credentials>'
ALLOWOVERWRITE
PARALLEL OFF
DELIMITER ','
ADDQUOTES
header;

-- 导出Los Angeles的数据
UNLOAD ('SELECT * FROM temp_table WHERE city = ''Los Angeles''')
TO 's3://<s3 bucket>/folder_1/city=Los Angeles/losangeles_'
IAM_ROLE '<aws credentials>'
ALLOWOVERWRITE
PARALLEL OFF
DELIMITER ','
ADDQUOTES
header;

这种方式下，每个分区文件夹内会生成newyork_000、losangeles_000这类符合需求的文件。缺点是如果分区值较多，需要编写循环或脚本批量执行。

2. 借助AWS Lambda实现文件重命名

在UNLOAD完成后，通过AWS Lambda自动重命名文件：

• 配置S3事件触发Lambda：当folder_1下的分区文件夹（如city=New York）中有新文件（000）创建时，触发Lambda函数。
• 在Lambda函数中解析S3文件路径，提取分区列city的值（比如从路径city=New York中提取New York，再转为小写或格式化后的字符串）。
• 使用AWS SDK调用S3的复制操作，将原文件000复制为目标文件名（如newyork_000），然后删除原文件。

这种方式适合分区值较多的场景，无需手动逐个执行UNLOAD。

内容的提问来源于stack exchange，提问作者Aswin Adithiya