如何设置Pandas列类型使Google BigQuery识别为JSON类型？

要让BigQuery识别DataFrame中的列为JSON类型，核心是显式定义表结构Schema，避免自动类型检测的偏差，同时确保数据格式符合BigQuery JSON类型的要求。以下是具体实现：

情况1：列是Python字典对象（如你的示例） #

如果你的nestedJson列是Python字典（而非JSON字符串），需要先将其序列化为JSON字符串，再通过指定Schema告诉BigQuery这是JSON类型：

针对pandas_gbq.to_gbq() #

import pandas as pd
import pandas_gbq

d = {'id': [1,2,3], 'nestedJson': [{'k1':1, 'k2':2}, {'k1':3, 'k2':4}, {'k1':5, 'k2':6}]}
df = pd.DataFrame(d)

# 将字典列转为合法JSON字符串
df['nestedJson'] = df['nestedJson'].apply(lambda x: pd.io.json.dumps(x))

# 自定义表结构，指定nestedJson为JSON类型
schema = [
    {'name': 'id', 'type': 'INTEGER'},
    {'name': 'nestedJson', 'type': 'JSON'}
]

pandas_gbq.to_gbq(
    df, 
    TABLE_id, 
    project_id=Projectname,
    if_exists='append',
    table_schema=schema
)

针对client.load_table_from_dataframe() #

import pandas as pd
from google.cloud import bigquery

d = {'id': [1,2,3], 'nestedJson': [{'k1':1, 'k2':2}, {'k1':3, 'k2':4}, {'k1':5, 'k2':6}]}
df = pd.DataFrame(d)

# 将字典列转为合法JSON字符串
df['nestedJson'] = df['nestedJson'].apply(lambda x: pd.io.json.dumps(x))

client = bigquery.Client(project=Projectname)
job_config = bigquery.LoadJobConfig(
    # 关闭自动检测，使用自定义Schema
    autodetect=False,
    schema=[
        bigquery.SchemaField("id", "INTEGER"),
        bigquery.SchemaField("nestedJson", "JSON")
    ],
    write_disposition="WRITE_APPEND"
)
job = client.load_table_from_dataframe(df, TABLE_id, job_config=job_config)
job.result()

情况2：列已是json.dumps()生成的JSON字符串 #

如果你的nestedJson列已经是JSON字符串（比如之前用json.dumps()处理过），直接跳过序列化步骤，只需要显式指定Schema即可，代码结构和上面一致，去掉df['nestedJson'] = ...这一行就行。

关键注意事项 #

• BigQuery的JSON类型要求存储的是合法的JSON字符串，不能直接传入Python字典对象，必须先序列化。
• 关闭自动类型检测或手动指定Schema，避免BigQuery将JSON字符串误识别为STRING类型。
• 如果目标表已存在，确保自定义Schema和现有表结构一致，否则会触发类型不匹配错误。

内容的提问来源于stack exchange，提问作者VIJU