如何通过BigQuery Python API的extract_table任务保留JSON输出中的Null字段？

遗憾的是，直接通过ExtractJobConfig配置无法实现保留换行分隔JSON中的Null值——这是BigQuery导出换行分隔JSON格式的固有行为：当字段值为Null时，该字段会被直接省略，目前没有任何内置配置项可以修改这个规则（Avro、Parquet等格式会保留Null值，但你明确排除了Avro）。

不过针对你数据量极大（近1亿行、25GB+）的场景，我有一个高效的替代方案，不需要手动处理每个字段，性能接近原生Extract Job：

用EXPORT DATA结合SELECT AS STRUCT *导出 #

通过将表数据包装为结构体的查询语句，配合EXPORT DATA命令，可以强制保留所有字段（包括Null值字段，值为null），同时保持高效的导出性能。

Python API实现代码如下：

from google.cloud import bigquery

client = bigquery.Client()

# 替换为你的实际参数
project_id = "your-project-id"
dataset_id = "your-dataset-id"
table_id = "your-table-id"
bucket_name = "your-gcs-bucket"
gcs_filename = "exported-data-*.json.gz"

# 构建EXPORT DATA语句
export_query = f"""
EXPORT DATA
OPTIONS(
    uri='gs://{bucket_name}/{gcs_filename}',
    format='JSON',
    compression='GZIP',
    overwrite=true
) AS
SELECT AS STRUCT * FROM `{project_id}.{dataset_id}.{table_id}`
"""

# 执行导出任务
query_job = client.query(export_query, location='US')
query_job.result()  # 等待任务完成

为什么这个方案适合大表？ #

• 性能高效：SELECT AS STRUCT *是轻量级的查询操作，BigQuery引擎会直接将行数据包装为结构体，几乎没有额外计算开销，性能和原生Extract Job接近。
• 自动适配表结构：不需要手动枚举表中所有字段，即使后续表结构变更也能自动兼容。
• 支持嵌套字段：如果你的表包含STRUCT、ARRAY等嵌套类型，这个方法也能正确保留嵌套层级中的Null值。

注意事项 #

• 确保你的BigQuery服务账号拥有GCS存储桶的写入权限和目标表的查询权限。
• 如果需要分片导出大文件，可以在GCS路径中使用通配符（比如exported-data-*.json.gz），BigQuery会自动拆分文件并写入。

内容的提问来源于stack exchange，提问作者Gideon