如何配置Vertica导出至S3 Bucket的CSV最小文件大小？

问题分析 #

你设置了FileSizeMB = 50参数，但导出文件仅约80KB，通常是因为Vertica的EXPORT操作会根据集群并行度、数据分布自动拆分文件，导致单个文件远小于指定大小。以下是针对性的解决方法：

解决方案 #

1. 强制合并导出分区 #

在SELECT语句末尾添加OVER(PARTITION BEST)，让Vertica尽量合并数据分区，减少文件数量，从而增大单个文件的体积：

EXPORT TO DELIMITED(
    directory = 's3://some-path',
    delimiter = '\t',
    compression = 'GZip',
    includeheader = 'false',
    ifDirExists='append',
    FileSizeMB = 50
)
AS SELECT 
        column1,  
        column2,
        column3
FROM test_table
OVER(PARTITION BEST);

2. 调整导出并行度 #

如果集群节点较多，Vertica会按节点拆分数据导出。可以通过设置MAX_PARALLELISM参数限制并行任务数，减少文件拆分：

EXPORT TO DELIMITED(
    directory = 's3://some-path',
    delimiter = '\t',
    compression = 'GZip',
    includeheader = 'false',
    ifDirExists='append',
    FileSizeMB = 50,
    MAX_PARALLELISM = 1
)
AS SELECT 
        column1,  
        column2,
        column3
FROM test_table;

注意：设置并行度为1会降低导出速度，需权衡速度与文件大小需求。

3. 检查数据分布与压缩 #

• 确认原表数据是否存在大量重复值：如果原表250MB数据经GZip压缩后确实仅为80KB（极端压缩场景），则需考虑调整压缩方式（如不压缩或使用压缩率更低的算法）。
• 检查表的分区策略：如果表按高度离散的键分区，导出时会按分区生成小文件，可临时修改导出的分区逻辑，比如按一个低基数列分区。

4. 验证参数兼容性 #

确保你的Vertica版本支持FileSizeMB参数用于S3导出。部分旧版本中该参数仅对本地文件系统生效，对S3存储桶不生效。

额外提示 #

注意你的SQL中delimiter = 't'会将字母t作为分隔符，若要使用制表符，需改为delimiter = '\t'。

内容的提问来源于stack exchange，提问作者yesiamamir