Snowflake导出数据至S3：多文件生成及文件名加日期后缀问题

问题1：为何S3桶中会生成多个文件？ #

这是Snowflake为提升大数据集导出效率的并行处理机制导致的：

• 当导出数据量较大（比如你这里的2.5亿条），Snowflake会自动将导出任务拆分为多个并行子任务，每个子任务独立生成一个文件写入S3。
• 你可以通过COPY INTO语句的FILE_SIZE参数控制单个文件的大小（默认值16MB，可按需调整），但当总数据量超过单个文件上限时，依然会生成多个文件。
• 这种并行设计能充分利用计算资源，大幅缩短大数据集的导出耗时。

问题2：如何为导出文件添加日期后缀？ #

你可以在文件名中嵌入Snowflake的日期/时间函数，通过$()语法将函数结果动态插入到文件名中，常用实现方式如下：

方式1：使用默认格式的当前日期（YYYY-MM-DD）

修改后的SQL语句：

copy into @my_stage/file_name_$(CURRENT_DATE()).csv.gz
from (
    select * from table
    join.........
);

方式2：自定义日期格式（例如无分隔符的YYYYMMDD）

用TO_CHAR函数格式化日期，适配更简洁的命名需求：

copy into @my_stage/file_name_$(TO_CHAR(CURRENT_DATE(), 'YYYYMMDD')).csv.gz
from (
    select * from table
    join.........
);

补充：精确到时间戳避免重名

如果同一日期内需要多次导出，可使用时间戳确保文件名唯一：

copy into @my_stage/file_name_$(TO_CHAR(CURRENT_TIMESTAMP(), 'YYYYMMDDHH24MISS')).csv.gz
from (
    select * from table
    join.........
);

内容的提问来源于stack exchange，提问作者Logan27