Snowflake COPY INTO导出S3时max_file_size拆分文件不生效问题

核心原因 #

• 表微分区数量不足
  Snowflake COPY INTO导出操作的并行度受底层表的微分区数量限制，单个微分区的数据只会由单个执行节点处理，不会被拆分为多个输出文件。如果待导出的表总微分区数量为1，无论设置多大的max_file_size阈值，最终都只会生成单个文件。
  可执行以下SQL查询表的微分区数量：

SELECT COUNT(DISTINCT PARTITION_NUMBER) 
FROM INFORMATION_SCHEMA.PARTITIONS 
WHERE TABLE_NAME = 'MY_SF_TABLE' 
AND TABLE_SCHEMA = '对应表的Schema名称';

如果返回结果为1，即可确认是微分区数量不足导致的问题。

• max_file_size参数统计基准误解
  max_file_size参数限制的是未压缩的原始数据大小，而非压缩后的文件大小。如设置104857600（100MB）作为阈值，实际是指单文件写入的未压缩数据上限为100MB，若数据GZIP压缩比为3:1，最终压缩后的单文件大小约为33MB。如果预期压缩后的单文件不超过100MB，需要根据实际压缩比反推未压缩阈值并调整参数取值。

解决方案 #

• 微分区不足场景：先对表数据做重分布，强制生成更多微分区后再导出，示例SQL如下：

CREATE OR REPLACE TABLE my_sf_table_rewrite AS
SELECT * FROM my_sf_table
ORDER BY RANDOM();

对重写后的新表执行COPY INTO命令，即可正常按阈值拆分文件。

• 参数基准误解场景：根据数据实际压缩比调大max_file_size取值，直到压缩后的输出文件大小符合100MB上限要求。

内容的提问来源于stack exchange，提问作者Hannah