如何导出指定单文件行数的BigQuery表？

BigQuery原生的EXPORT DATA语句没有直接设置单文件行数上限的参数，但可以通过给数据添加分组标识+分区表导出的方式实现需求，具体步骤如下：

1. 为数据添加分组ID #

通过行号计算，将每N行划分为一组（示例中设置为10000行/组，可按需调整）：

SELECT 
  *,
  DIV(ROW_NUMBER() OVER(), 10000) AS row_group_id
FROM `你的项目ID.你的数据集ID.目标表`

• ROW_NUMBER()为每行生成唯一递增序号
• DIV(序号, 10000)让每10000行共享同一个row_group_id，实现按行数分组

2. 创建分区临时表 #

将带分组ID的数据写入按row_group_id分区的临时表：

CREATE OR REPLACE TABLE `你的项目ID.你的数据集ID.临时分区表`
PARTITION BY row_group_id
AS
SELECT 
  *,
  DIV(ROW_NUMBER() OVER(ORDER BY 你的排序字段), 10000) AS row_group_id  -- 建议指定排序字段保证分组稳定
FROM `你的项目ID.你的数据集ID.目标表`

注意：如果需要固定的行顺序拆分，一定要在OVER()中指定排序字段，避免行号随机导致分组混乱。

3. 导出分区表到GCS #

对临时分区表执行导出，BigQuery会为每个分区生成独立的CSV文件，每个文件的行数将被控制在设定的上限内：

EXPORT DATA
OPTIONS (
  uri = 'gs://export/test/*.csv',
  format = 'csv',
  overwrite = true
)
AS
SELECT * EXCEPT(row_group_id)  -- 导出时剔除分组ID字段
FROM `你的项目ID.你的数据集ID.临时分区表`

后续清理（可选） #

导出完成后可删除临时表释放资源：

DROP TABLE IF EXISTS `你的项目ID.你的数据集ID.临时分区表`;

内容的提问来源于stack exchange，提问作者Ahmetcan OZCAN