我之前在使用BigQuery导出数据时也遇到过类似的意外情况，结合官方文档和实际踩坑经验，给你梳理下背后的原因和可行的解决办法：

一、为什么会生成超过1GB的导出文件？ #

BigQuery官方标注的1GB单文件限制是压缩后的默认阈值，但存在几种例外情况会导致超大文件：

• 数据压缩率极低：如果你的数据本身是难以压缩的类型（比如加密二进制内容、无重复规律的随机字符串、已压缩的媒体文件），即使启用gzip压缩，最终体积也可能远超1GB。比如我之前导出一批加密日志，压缩率不到10%，单文件直接到7GB。
• 导出配置未启用压缩或选错格式：如果导出时手动添加了--no-compression参数（CLI），或者选择了不支持压缩的格式配置（比如CSV未指定GZIP压缩），原始数据直接导出就很容易突破1GB。另外，JSON格式的压缩率远低于Avro/Parquet，也可能导致单文件过大。
• 数据无法被自动拆分：BigQuery的自动拆分逻辑依赖表的分区、集群键或者数据的分片规则。如果你的表是无分区的单分片大表，或者导出时没有指定按分区/集群键拆分，BigQuery不会强行拆分一个逻辑分片内的数据——如果这个分片本身压缩后就有6GB，那导出就是单个大文件。

二、如何缩减导出文件的大小？ #

针对上述原因，你可以尝试以下几种方法来控制文件大小：

• 强制启用最优压缩：
  • CLI导出时，确保不要加--no-compression参数，默认会用gzip压缩CSV/JSON；
  • SQL导出时，明确指定压缩配置，比如导出Avro用FORMAT='AVRO' OPTIONS( compression='SNAPPY' )，导出CSV用FORMAT='CSV' OPTIONS( compression='GZIP' )。Snappy压缩在速度和压缩率上的平衡比gzip更好，适合大数据量导出。
• 按分区/集群键拆分导出：
  • 如果你的表是分区表，导出时使用destination_uri_prefix（比如gs://your-bucket/export-），BigQuery会自动按分区生成多个小文件；
  • SQL导出时，通过OPTIONS( partition_field='your_partition_column' )指定按分区拆分，每个分区对应一个文件，单个文件大小会被控制在合理范围。
• 切换到高压缩率的导出格式：
  优先选择Avro或Parquet格式，这两种列式存储格式的压缩率比CSV/JSON高2-5倍，不仅能大幅减小文件体积，还能保留表结构，后续导入其他系统也更高效。
• 过滤不必要的数据：
  导出前通过WHERE子句过滤掉不需要的行，或者只选择业务必需的列，减少导出的数据量。比如：

  EXPORT DATA OPTIONS(
    uri='gs://your-bucket/export-*.csv.gz',
    format='CSV',
    compression='GZIP'
  ) AS
  SELECT id, order_date, amount
  FROM your_dataset.your_table
  WHERE order_date >= '2024-01-01'
  

• 手动拆分导出任务：
  如果表没有分区，也无法通过格式优化，那就手动将数据分成多个批次导出。比如按ID区间拆分：

  -- 第一批次
  EXPORT DATA OPTIONS(uri='gs://your-bucket/export-batch1.csv.gz') AS
  SELECT * FROM your_table WHERE id BETWEEN 1 AND 1000000;
  
  -- 第二批次
  EXPORT DATA OPTIONS(uri='gs://your-bucket/export-batch2.csv.gz') AS
  SELECT * FROM your_table WHERE id BETWEEN 1000001 AND 2000000;
  

内容的提问来源于stack exchange，提问作者Artem Chernov