如何将BigQuery聚类表按聚类键导出至Cloud Storage？

你完全不用写遍历脚本或者创建临时表——BigQuery的EXPORT DATA语句原生支持基于聚类/分区列的动态路径模板，正好匹配你的需求。

核心实现方法 #

直接在导出URI中使用聚类列作为占位符，BigQuery会自动为每个client_id+attribute_id组合生成对应的GCS路径和文件，一次作业就能完成所有导出。

具体SQL示例 #

假设你的表是my-project.my-dataset.clustered_table，按client_id和attribute_id聚类，导出语句如下：

EXPORT DATA
  OPTIONS(
    format = 'AVRO',
    compression = 'SNAPPY', -- 可选，推荐用压缩节省存储空间
    overwrite = TRUE -- 如果需要覆盖已有文件，加上这个选项
  )
AS SELECT *
FROM `my-project.my-dataset.clustered_table`
TO URI 'gs://my_bucket/{client_id}/{attribute_id}/object.avro'

关键细节说明 #

• 自动拆分逻辑：BigQuery会识别{client_id}和{attribute_id}是你的聚类列，自动为每一组唯一组合创建对应的目录（比如gs://my_bucket/client_123/attr_456/），并将该组合的所有数据写入该目录下的AVRO文件。
• 大文件拆分：如果某个组合的数据量超过单文件上限（默认是1GB左右），BigQuery会自动生成多个分片文件（如object.avro.000000、object.avro.000001），你可以通过max_file_size选项调整单文件大小上限（单位是字节）。
• 权限要求：确保执行该语句的账号拥有：
  • BigQuery表的读取权限
  • GCS目标bucket的写入权限
• 无额外成本：整个过程直接从源聚类表导出，不需要创建临时表，完全避免了额外的存储和查询成本。

注意事项 #

• 这个路径模板功能仅支持聚类表的聚类列或分区表的分区列，你的场景正好符合聚类表的要求，所以可以直接用。
• 如果需要确保每个目录下只有单个AVRO文件，需要确保该组合的数据量不超过你设置的max_file_size，同时可以加上allow_jagged_rows = FALSE选项（避免因数据格式问题拆分文件）。

内容的提问来源于stack exchange，提问作者blaineh