如何限制Snowflake分段卸载至AWS S3的文件大小为指定值

为什么MAX_FILE_SIZE无法严格限制？ #

Snowflake的MAX_FILE_SIZE是软限制，而非强制限制：

• 当单个微分区（Micro-Partition）的数据量超过设定的大小，Snowflake不会拆分微分区，会直接生成对应大小的文件。
• 压缩后的实际文件大小可能和预估存在差异，若原始数据本身的压缩潜力不足，也可能导致文件超量。

强制控制文件大小不超过1MB的方法 #

• 拆分数据为更小批次
  在执行COPY前，将数据拆分为多个小数据集，确保每个数据集压缩后的大小不超过1MB。可以用窗口函数分组，或者分多次导出：

  -- 用NTILE将数据分成N组（根据预估数据量计算N），每组导出一个文件
  COPY INTO 's3://your-bucket/path/'
  FROM (
    SELECT *, NTILE(100) OVER (ORDER BY id) AS batch_id
    FROM your_table
  )
  PARTITION BY batch_id
  FILE_FORMAT = (TYPE = CSV COMPRESSION = GZIP)
  MAX_FILE_SIZE = 1048576; -- 1MB（字节）
  

  或者分多次执行COPY，每次取固定行数：

  -- 第一次导出前1000条（根据实际单条大小调整）
  COPY INTO 's3://your-bucket/path/batch_1/'
  FROM (SELECT * FROM your_table LIMIT 1000)
  FILE_FORMAT = (TYPE = CSV COMPRESSION = GZIP)
  MAX_FILE_SIZE = 1048576;
  
  -- 后续批次用OFFSET
  COPY INTO 's3://your-bucket/path/batch_2/'
  FROM (SELECT * FROM your_table LIMIT 1000 OFFSET 1000)
  FILE_FORMAT = (TYPE = CSV COMPRESSION = GZIP)
  MAX_FILE_SIZE = 1048576;
  

• 选择高压缩比的压缩算法
  更换压缩比更高的算法（如GZIP）替代默认的SNAPPY，进一步缩小文件体积：

  COPY INTO 's3://your-bucket/path/'
  FROM your_table
  FILE_FORMAT = (TYPE = CSV COMPRESSION = GZIP)
  MAX_FILE_SIZE = 1048576;
  

• 预先估算数据量
  先统计单条记录的平均大小，计算出每个批次最多能容纳的记录数：

  -- 估算单条记录平均大小（字节）
  SELECT AVG(TO_BINARY(*):SIZE) AS avg_record_size FROM your_table LIMIT 1;
  

  根据结果计算出1MB内可容纳的记录数，再按该数量拆分导出。

内容的提问来源于stack exchange，提问作者VVictor