BigQuery EXPORT操作小查询结果异常分片为多文件问题咨询

问题根因 #

该问题属于分布式数据库导出功能的通用设计行为，有大量相同场景的用户反馈。
你推测的方向基本正确：分布式EXPORT的默认分片逻辑优先匹配底层源数据的存储分片并行度，和最终查询返回的结果集大小无关。哪怕你的子查询仅返回1000行，优化器调度导出任务时，会按照源分区对应的底层存储分片数、集群节点并行度分配独立的导出worker进程，每个进程会生成单独的导出文件，就算该进程仅返回空结果也会生成空分片文件。你遇到的27个分片，刚好对应目标分区的27个底层存储切片。

解决方案 #

导出阶段直接生成单文件（优先推荐） #

无需后续合并操作，针对不同数据库生态可直接调整导出语句参数即可：

• PostgreSQL/Greenplum生态：在EXPORT语句末尾添加ON MASTER参数，强制所有结果汇总到主节点后再输出，直接生成单个文件。注意该参数仅适合小结果集使用，大结果集可能导致主节点IO压力过高。
• ClickHouse生态：导出前执行SET max_threads = 1; SET parallel_distributed_export = 0; 关闭并行导出能力，单线程处理导出任务直接输出单文件。
• 云原生数仓（BigQuery/MaxCompute等）：在EXPORT语句的配置项中添加single_file = true参数，即可直接输出单个GZIP压缩文件。

导出后快速合并GZIP分片 #

如果不方便调整导出逻辑，可以使用管道命令一步完成合并，无需中间解压落盘：

zcat your_export_prefix*.gz | gzip > merged_result.gz

该操作全程在内存中完成，你当前的1000行小结果集仅需毫秒级处理时间，没有额外存储开销。

内容的提问来源于stack exchange，提问作者Sergei Trunov