如何将BigQuery分区表导出为含分区日期文件名的多文件至GCS

针对100个分区的场景，最优实现是通过BigQuery动态SQL脚本批量生成并执行导出任务，无需手动逐个处理分区，同时保证每个分区的导出文件名包含对应分区日期，且自动生成多文件。

方案一：BigQuery动态SQL批量导出 #

步骤1：生成所有分区的导出语句 #

先从INFORMATION_SCHEMA.PARTITIONS获取目标表的有效分区（跳过空分区），批量生成符合要求的EXPORT DATA语句：

SELECT CONCAT(
  "EXPORT DATA OPTIONS(",
  " uri = 'gs://your-bucket/export-path/data_", FORMAT_DATE("%Y%m%d", partition_date), "_*.avro',",
  " format = 'AVRO',",
  " overwrite = TRUE,",
  " use_avro_logical_types = TRUE",
  ") AS ",
  "SELECT * FROM `your-project.your-dataset.your-partitioned-table`",
  " WHERE _PARTITIONDATE = DATE '", FORMAT_DATE("%Y-%m-%d", partition_date), "';"
) AS export_query
FROM `your-project.your-dataset.INFORMATION_SCHEMA.PARTITIONS`
WHERE table_name = 'your-partitioned-table'
  -- 按需过滤分区范围
  AND partition_date >= DATE('2023-01-01')
  AND partition_date <= DATE('2023-04-01')
  -- 跳过无数据的空分区
  AND total_rows > 0;

步骤2：批量自动执行导出任务 #

如果需要自动执行所有生成的导出语句，使用BigQuery脚本循环执行：

DECLARE partition_dates ARRAY<DATE>;
DECLARE current_date DATE;
DECLARE idx INT64 DEFAULT 0;

-- 获取待导出的分区日期列表
SET partition_dates = ARRAY(
  SELECT partition_date
  FROM `your-project.your-dataset.INFORMATION_SCHEMA.PARTITIONS`
  WHERE table_name = 'your-partitioned-table'
    AND partition_date BETWEEN DATE('2023-01-01') AND DATE('2023-04-01')
    AND total_rows > 0
  ORDER BY partition_date
);

-- 循环执行每个分区的导出
WHILE idx < ARRAY_LENGTH(partition_dates) DO
  SET current_date = partition_dates[idx];
  EXECUTE IMMEDIATE CONCAT(
    "EXPORT DATA OPTIONS(",
    " uri = 'gs://your-bucket/export-path/data_", FORMAT_DATE("%Y%m%d", current_date), "_*.parquet',",
    " format = 'PARQUET',",
    " overwrite = TRUE,",
    " parquet_compression = 'SNAPPY'",
    ") AS ",
    "SELECT * FROM `your-project.your-dataset.your-partitioned-table`",
    " WHERE _PARTITIONDATE = DATE '", FORMAT_DATE("%Y-%m-%d", current_date), "';"
  );
  SET idx = idx + 1;
END WHILE;

关键特性说明 #

• 文件名自定义：通过FORMAT_DATE将分区日期格式化为指定样式，直接嵌入GCS路径，替代current_date()
• 自动多文件拆分：单个分区数据量超过BigQuery单文件限制时，会自动拆分为多个data_YYYYMMDD_000000_00000X.avro格式的文件
• 高效批量处理：一次脚本即可覆盖所有目标分区，无需手动逐个执行查询
• 空分区跳过：通过total_rows > 0过滤无数据的分区，避免无效导出

注意事项 #

• 确保BigQuery服务账号拥有GCS存储桶的storage.objects.create和storage.objects.delete权限（用于覆盖已有文件）
• 导出Parquet时，可调整parquet_compression参数（支持SNAPPY/GZIP/NONE）
• 文件名格式可按需修改，比如将%Y%m%d改为%Y-%m-%d，只要符合GCS对象命名规则
• 若需监控导出进度，可在BigQuery的作业历史中查看每个导出任务的状态

内容的提问来源于stack exchange，提问作者Lakshmi_N