BigQuery Python加载JSON时Null被误识别为字符串致类型不匹配的修复

• 最初的splitAmount字段类型不匹配报错根源：第一次通过UI手动建表时开启了自动Schema检测，源文件中存在非空浮点值2.300，BigQuery将splitAmount字段默认推导为FLOAT类型
• 后续加载全null增量文件的报错根源：加载配置里开启了autodetect=True，全null的字段会被BigQuery自动推导为STRING类型，和已有表的FLOAT Schema产生冲突
• 之前尝试显式指定Schema仍报400读取错误的原因：JobConfig中同时保留了autodetect=True，自动检测的优先级高于手动传入的schema参数，会完全覆盖手动配置的规则，依旧走源文件Schema扫描逻辑，没有起到约束字段类型的作用

• 关闭加载环节的自动Schema检测，避免源文件全null字段触发错误的类型推导
• 强制使用目标表的现有Schema作为加载校验依据，不依赖BigQuery的自动检测逻辑
• 配置合理的加载容错规则，避免单条坏行导致整个自动化任务失败

修正后的可直接使用的加载代码如下：

from google.cloud import bigquery

client = bigquery.Client()
dataset_ref = client.dataset(dataset_id)
table_ref = dataset_ref.table(list_table_id)
# 拉取目标表的正式存储Schema
target_table = client.get_table(table_ref)

job_config = bigquery.LoadJobConfig()
job_config.source_format = bigquery.SourceFormat.NEWLINE_DELIMITED_JSON
# 核心修正：关闭自动Schema检测，不再扫描源文件的字段类型
job_config.autodetect = False
# 严格使用目标表现有Schema做字段类型校验
job_config.schema = target_table.schema
job_config.write_disposition = bigquery.job.WriteDisposition.WRITE_APPEND
# 容错配置：允许最多10条坏行不中断任务
job_config.max_bad_records = 10
# Schema兼容配置：支持字段放宽非空约束、新增可选字段
job_config.schema_update_options = [
    bigquery.SchemaUpdateOption.ALLOW_FIELD_RELAXATION,
    bigquery.SchemaUpdateOption.ALLOW_FIELD_ADDITION
]

# 提交加载任务
load_job = client.load_table_from_file(
    fileobj=your_json_file,
    destination=table_ref,
    job_config=job_config
)
load_job.result()  # 等待任务执行完成

1. 当autodetect=False时，BigQuery不会再扫描源JSON的字段类型，全null的splitAmount值会被正常适配到FLOAT类型列，不会触发类型不匹配问题
2. 不要在加载配置中同时启用autodetect和手动指定Schema，这是BigQuery Python客户端的固定行为：只要开启自动检测，手动传入的Schema就会被忽略，之前的配置失效就是这个原因导致的
3. 若后续确实需要将splitAmount字段从FLOAT调整为STRING类型，需要先通过DDL语句单独修改表Schema，再开展后续的数据加载，不能依赖自动加载逻辑完成字段类型变更

内容的提问来源于stack exchange，提问作者Sema196