如何通过Python BigQuery客户端将嵌套字典正确插入JSON类型列（避免转义分隔符）

你好！我完全理解你遇到的困扰——用Python BigQuery客户端插入字典到JSON类型列时，结果出现了多余的转义引号和换行符，看起来像是把字符串存成了JSON值，而非原生的JSON对象。其实这是因为客户端默认把Python字典序列化成了字符串，再存入JSON列，才导致了转义的出现。下面我给你几个用Python BigQuery库直接解决的方法，不用手动写SQL：

方法一：使用insert_rows直接插入字典 #

这是最直接的方式，只要明确表的schema，客户端会自动把Python字典转换成BigQuery的原生JSON类型：

from google.cloud import bigquery

# 初始化客户端
client = bigquery.Client()

# 定义表的schema，明确指定JSON类型的列
schema = [
    bigquery.SchemaField("your_json_column", "JSON", mode="REQUIRED")
    # 替换成你实际的列名
]

# 准备要插入的数据，JSON列的值直接用Python字典
rows_to_insert = [
    {"your_json_column": {"A": 2, "B": 1, "C": 4, "D": 3}}
]

# 获取目标表的引用
table_ref = client.get_table("your-project-id.your-dataset-id.your-table-id")

# 执行插入
errors = client.insert_rows(table_ref, rows_to_insert)

if not errors:
    print("数据插入成功！")
else:
    print(f"插入过程中出现错误: {errors}")

方法二：用load_table_from_json批量插入 #

如果需要批量插入数据，load_table_from_json同样可以正确处理，关键是要在Job Config中指定正确的schema，确保客户端识别JSON类型列：

from google.cloud import bigquery

client = bigquery.Client()
table_id = "your-project-id.your-dataset-id.your-table-id"

# 批量数据，每个JSON列的值都是字典
batch_data = [
    {"your_json_column": {"A": 2, "B": 1, "C": 4, "D": 3}},
    {"your_json_column": {"X": 5, "Y": 6}}
]

# 配置加载任务，指定schema和写入模式
job_config = bigquery.LoadJobConfig(
    schema=[
        bigquery.SchemaField("your_json_column", "JSON", mode="REQUIRED")
    ],
    write_disposition=bigquery.WriteDisposition.WRITE_APPEND
)

# 执行批量加载
load_job = client.load_table_from_json(
    batch_data, table_id, job_config=job_config
)

# 等待任务完成
load_job.result()

print(f"成功插入 {load_job.output_rows} 行数据")

为什么之前的方法会出现转义？ #

你之前用load_table_from_json时出现转义，大概率是没有明确指定schema，或者客户端默认把字典当成普通字符串处理了——它会先把字典序列化成JSON字符串，再把这个字符串存入JSON列，自然就会出现转义的引号和换行符。而通过明确schema告诉客户端“这个字段是JSON类型”，它就会直接把Python字典映射成BigQuery的原生JSON对象，不会做多余的字符串序列化。

这样插入后，你在BigQuery中查询到的结果就是干净的{"A": 2, "B": 1, "C": 4, "D": 3}，不会有多余的转义字符啦。

备注：内容来源于stack exchange，提问作者Aswin