BigQuery LoadJob报400错误Unsupported field type: JSON的解决方法

遇到这个问题我太熟了！你现在的核心矛盾是：Polars里存的JSON字符串，想直接通过Parquet加载到BigQuery的JSON列，但LoadJob不认这个映射。别慌，给你几个靠谱的解决思路：

方法一：将Polars中的JSON字符串解析为原生Json类型后写入Parquet #

BigQuery的JSON类型需要源数据能被识别为结构化的JSON内容，而Polars的STRING类型存的JSON字符串，直接写Parquet后，BigQuery LoadJob没办法自动映射到JSON类型。你可以先把Polars里的col3解析成Polars原生的Json类型，再写Parquet：

import polars as pl
import io

# 假设你的DataFrame是df
df = df.with_columns(
    pl.col("col3").str.json_parse().alias("col3")
)

# 写入Parquet流
stream = io.BytesIO()
df.write_parquet(stream)
stream.seek(0)  # 重置流指针到开头

之后再用BigQuery的LoadJob加载，此时LoadJobConfig里指定col3为JSON类型就不会报错了——因为Parquet里的列已经是结构化的JSON格式，BigQuery能正确识别并映射到JSON类型。

方法二：通过加载时的类型转换绕过直接映射 #

如果不想修改Polars的数据类型，你可以先把数据加载到BigQuery的STRING临时列，然后在BigQuery里把它转换成JSON类型。不过这个方法需要多一步，但适合不想动DataFrame的场景：

1. 先修改LoadJobConfig的schema，把col3设为STRING类型，成功加载数据到目标表。
2. 执行BigQuery的ALTER TABLE语句修改列类型：

ALTER TABLE `your-project.your-dataset.your-table`
ALTER COLUMN col3 SET DATA TYPE JSON;

BigQuery会自动把合法的JSON字符串转换成JSON类型，只要你的字符串都是符合规范的JSON，这个转换完全安全。

方法三：调整LoadJobConfig的参数（针对Parquet源的特殊处理） #

有时候问题出在LoadJob的源格式配置上，确保你在LoadJobConfig里明确指定了Parquet源格式，并且schema里的JSON列定义正确：

from google.cloud import bigquery

job_config = bigquery.LoadJobConfig(
    schema=[
        bigquery.SchemaField("col1", "STRING"),
        bigquery.SchemaField("col2", "INT64"),
        bigquery.SchemaField("col3", "JSON"),
    ],
    source_format=bigquery.SourceFormat.PARQUET,
    # 根据你的需求选择写入策略，比如覆盖、追加等
    write_disposition=bigquery.WriteDisposition.WRITE_TRUNCATE
)

不过这个方法的稳定性依赖BigQuery的自动解析能力，还是方法一最稳妥可靠。

备注：内容来源于stack exchange，提问作者Raghuveer