如何限制BigQuery导出到GCS的文件数量

嘿，我之前也碰到过类似的需求，刚好有几个亲测有效的方法能帮你把导出的文件数量降到100个，咱们一步步来：

方法一：用NTILE()函数均匀分组 #

NTILE(n)会把查询结果均匀分成n个逻辑组，你可以利用这个特性让BigQuery按分组生成文件，精准控制数量。

举个实际的EXPORT语句例子：

EXPORT DATA
OPTIONS(
  uri='gs://your-bucket/path/file-*.csv',
  format='CSV',
  header=true
) AS
SELECT *, NTILE(100) OVER() AS export_group
FROM (
  -- 这里替换成你原来的SELECT DISTINCT查询
  SELECT DISTINCT * FROM your_target_table
)
ORDER BY export_group

原理很简单：NTILE(100)会给每条数据分配1到100的组号，导出时BigQuery会按这个分组批量处理，每个组对应一个文件，最终就能得到100个文件。如果数据量分布不均，个别文件大小可能有差异，但数量是准确的。

方法二：用哈希取模实现更均匀的分组 #

如果希望每个文件的大小更接近，可以用哈希函数对某个字段取模来分组，比如用FARM_FINGERPRINT（BigQuery的高效哈希函数）配合MOD：

EXPORT DATA
OPTIONS(
  uri='gs://your-bucket/path/file-*.csv',
  format='CSV',
  header=true
) AS
SELECT *, MOD(FARM_FINGERPRINT(CAST(your_unique_column AS STRING)), 100) AS export_group
FROM (
  SELECT DISTINCT * FROM your_target_table
)
ORDER BY export_group

这里的your_unique_column可以是表中的唯一键或者分布均匀的字段（比如ID、时间戳），哈希取模后会把数据均匀分到0-99这100个组里，导出的文件数量就是100，而且每个文件的大小会更均衡。

一些关键注意事项 #

• 不管用哪种方法，一定要把分组字段（export_group）包含在SELECT里，并且加上ORDER BY export_group，这样BigQuery才会按分组批量处理，避免跨组生成文件。
• 如果某个分组的数据量超过1GB，BigQuery还是会自动拆分这个分组的文件，这时候你可能需要调整分组数（比如如果总数据是150GB，分成100组的话，个别组可能超过1GB，可以改成150组），或者先预估每个分组的大小。
• 遗憾的是，BigQuery的EXPORT语句没有直接指定文件数量的参数，所以只能通过查询层面的分组逻辑来间接控制数量。

备注：内容来源于stack exchange，提问作者Michiru