如何将20GB的json.gz大文件成功加载至BigQuery？

BigQuery的4GB压缩文件大小限制仅针对直接提交的批量Load作业，绕过该限制的成熟方案有以下几种：

• 外部表中转导入
  这是操作成本最低的方案，不需要额外开通其他服务：直接在BigQuery中创建指向GCS目标文件的外部表，文件格式选择对应JSON类型（换行分隔JSON选JSON Lines，单JSON数组选对应解析参数），外部表查询gzip文件不受4GB压缩大小限制。外部表创建完成后，运行一句SQL即可把全量数据写入原生BigQuery表：

CREATE OR REPLACE TABLE `项目ID.数据集名.目标表名`
AS SELECT * FROM `外部表名`

• Dataflow托管模板导入
  如果对导入速度有要求，可以直接用官方提供的GCS到BigQuery的Dataflow模板，指定输入GCS路径和目标BigQuery表即可，服务会自动完成解压、分片读取、并行写入的全流程，不需要手动处理文件拆分，后续如果有同类型定期导入任务也可以直接复用该作业。
• 临时计算实例解压导入
  开一台带宽足够、磁盘预留60GB以上空间的临时GCE实例，将存储桶挂载到实例本地，处理完文件后直接删除实例即可，整体成本极低，适合需要对数据做预处理再导入的场景。

直接用二进制拆分工具切gz文件必然会损坏压缩块、截断数据行，只要方法正确，完全可以做到不破坏行结构拆分，所有方法的前提是你的文件是BigQuery支持的换行分隔JSON（JSON Lines）格式，即每一行对应一条独立JSON记录，如果是整个文件为单个大JSON对象/数组，需要先转换为JSON Lines格式再拆分：

• 流式解压边读边拆（最推荐）
  不需要把20GB压缩包全量解压到磁盘，通过命令行管道流式处理，边解压边按固定行数切分，全程按换行符做切割边界，绝对不会出现半行、断行的问题，拆分后的文件可以直接压缩到4GB以内再上传加载：

# 示例：每100万行拆分为一个独立文件，输出文件前缀为part_
gunzip -c 源文件.json.gz | split -l 1000000 - part_

# 如果要直接把拆分后的文件重新压缩为gz包，加--filter参数即可，不需要落地中间未压缩文件
gunzip -c 源文件.json.gz | split -l 1000000 --filter='gzip > $FILE.gz' - part_

你可以根据单行数据大小调整每片的行数，保证最终压缩后的单个gz文件大小在3.6GB以下即可（预留10%冗余，避免因为大小统计口径差异触发BigQuery的4GB上限报错）。

• gzip块级二进制拆分
  如果磁盘空间完全不足以承载解压后的临时文件，可以用支持gzip块索引的工具（如gztool）先为压缩文件建立块索引，在deflate块边界位置做二进制切割，切割后再校验每个分块的首尾行完整性，保证不截断记录。这种方法不需要全量解压重压缩，但操作复杂度高，仅适合极端资源受限的场景。

踩坑提示：不要尝试直接用split命令切分二进制gz文件，也不要把拆分后的压缩文件大小卡到4GB临界值，否则大概率会出现加载失败、数据损坏的问题。

内容的提问来源于stack exchange，提问作者user1220540