如何在BigQuery使用EXPORT DATA导出Parquet时优化分区策略？

可以通过以下几种方式优化EXPORT DATA的分区/分片策略，兼顾导出速度和合理的文件大小：

1. 利用PARTITION BY + CLUSTER BY 控制数据分片分布 #

EXPORT DATA的文件数量直接关联查询结果的分片数，通过预先对查询结果做分区和聚簇，能让数据更集中，减少小文件生成。如果源表本身已是分区聚簇表，直接查询会复用现有分片结构，导出文件数会和分区/聚簇分片数匹配。

示例SQL：

EXPORT DATA
OPTIONS(
  uri='gs://your-bucket/path/*.parquet',
  format='PARQUET',
  compression='SNAPPY'
) AS
SELECT *
FROM `your-project.your-dataset.your-table`
PARTITION BY DATE(your_timestamp_column)  -- 按时间字段分区，控制单分区数据量
CLUSTER BY your_high_cardinality_column;  -- 聚簇让同组数据落在同一分片

2. 写入中间分区表再导出 #

先将查询结果写入一个临时分区聚簇表，通过中间表的配置控制数据分片，再导出该表，能更精准控制文件大小。

步骤示例：

• 创建临时分区聚簇表：

CREATE OR REPLACE TABLE `your-project.your-dataset.temp_export_table`
PARTITION BY DATE(your_timestamp_column)  -- 可调整分区粒度（如按周）来放大单分区数据量
CLUSTER BY your_group_column
AS SELECT * FROM `your-project.your-dataset.your-table`;

• 导出临时表：

EXPORT DATA
OPTIONS(
  uri='gs://your-bucket/path/*.parquet',
  format='PARQUET',
  compression='SNAPPY'
) AS
SELECT * FROM `your-project.your-dataset.temp_export_table`;

3. 配置file_size参数指定目标文件大小 #

BigQuery的EXPORT DATA支持file_size选项（单位MB），可指定单个文件的目标大小，系统会尽量合并分片以接近该值，有效减少小文件数量。

示例SQL：

EXPORT DATA
OPTIONS(
  uri='gs://your-bucket/path/*.parquet',
  format='PARQUET',
  compression='SNAPPY',
  file_size=12  -- 指定单个文件约12MB，与dask导出的文件大小匹配
) AS
SELECT * FROM `your-project.your-dataset.your-table`;

注：该参数有效值范围为10-10240 MB，需结合Parquet的压缩比（通常3:1~5:1）调整。

4. 通过分组合并小分片 #

如果业务逻辑允许，可通过分组字段将小批量数据集中到同一分片，避免生成大量极小文件。比如按时间粒度分组：

示例SQL：

EXPORT DATA
OPTIONS(
  uri='gs://your-bucket/path/*.parquet',
  format='PARQUET',
  compression='SNAPPY'
) AS
SELECT 
  *
FROM `your-project.your-dataset.your-table`
GROUP BY FLOOR(UNIX_SECONDS(your_timestamp)/3600), *;  -- 按小时分组，合并同小时数据到同一分片

以上方法可组合使用，比如先分区聚簇再设置file_size，既能保持EXPORT DATA的高速导出能力，又能将文件数量控制在合理范围，避免后续重分区的高成本。

内容的提问来源于stack exchange，提问作者lqrz