BigQuery导入JSON数据报错No such field，求助解决方法

首先，这个报错的核心原因很明确：你的BigQuery表Schema里并没有定义passenger_origin.accuracy、driver_origin.accuracy这些嵌套子字段，但JSON数据里却包含了这些字段。BigQuery默认要求导入的JSON字段必须和表Schema完全匹配，一旦遇到Schema里不存在的字段，就会抛出“没有该字段”的解析错误。

你提到大部分行没问题，是因为那些行里没有这些额外的accuracy子字段，和表的现有Schema完全兼容，所以能正常导入；只有包含accuracy的行才会触发报错。

另外纠正一个误解：RECORD类型不需要设置为REPEATED。REPEATED是用来定义数组/列表类型的，你的passenger_origin是普通的嵌套RECORD结构，和REPEATED没有关系，问题根源还是Schema不匹配。

两种解决方案 #

方案1：修改表Schema，添加缺失的子字段 #

如果这些accuracy字段是你需要保留的数据，直接修改表Schema，把这些嵌套子字段加进去即可。从你的示例数据看，accuracy是浮点型，所以可以用下面的SQL语句修改：

ALTER TABLE `your-project.your-dataset.your-table`
ADD COLUMN passenger_origin.accuracy FLOAT64,
ADD COLUMN driver_origin.accuracy FLOAT64,
ADD COLUMN passenger_destination.accuracy FLOAT64;

修改完成后，再重新导入数据就不会报错了。

方案2：导入时忽略未知字段 #

如果这些accuracy字段对你没用，不想修改表Schema，可以在导入作业里设置忽略未知字段的参数。用Python客户端的话，只需要在LoadJobConfig里加上ignore_unknown_values=True：

from google.cloud import bigquery

client = bigquery.Client()

# 配置导入作业
job_config = bigquery.LoadJobConfig(
    source_format=bigquery.SourceFormat.NEWLINE_DELIMITED_JSON,
    ignore_unknown_values=True,  # 关键：忽略Schema中不存在的字段
    write_disposition=bigquery.WriteDisposition.WRITE_APPEND,  # 根据你的需求选写入模式（追加/覆盖等）
)

# GCS文件路径
gcs_uri = "gs://your-bucket-name/path-to-your-data/file.json"

# 启动导入作业
load_job = client.load_table_from_uri(
    gcs_uri,
    "your-project.your-dataset.your-table",
    job_config=job_config
)

# 等待作业完成
load_job.result()

print(f"成功导入 {load_job.output_rows} 行数据")

这样BigQuery在导入时会自动跳过那些Schema里没有的字段，不会再抛出解析错误。

内容的提问来源于stack exchange，提问作者RogerFromSpace