如何正确将pandas数据类型转换为BigQuery JSON格式Schema

原代码存在两个核心问题：

1. 仅初始化了1个字典对象，遍历所有字段时反复修改这个字典的属性值，没有为每个字段生成独立的配置对象，也没有用数组结构存储多字段配置，最终只会保留最后一个遍历到的字段信息
2. 配置字典的键名不符合BigQuery Schema规范，将类型字段写为dtype，且缺失了浮点数等常见数据类型的映射逻辑

import pandas as pd

df = pd.DataFrame({'A': [1, 2], 
                   'B': [1., 2.], 
                   'C': ['a', 'b'], 
                   'D': [True, False]})

# pandas dtype 到 BigQuery 类型的映射表，可根据业务需求扩展
pd_to_bq_type_map = {
    'int64': 'INTEGER',
    'float64': 'FLOAT',
    'object': 'STRING',
    'bool': 'BOOL',
    'datetime64[ns]': 'TIMESTAMP'
}

bq_schema = []
col_dtype_map = df.dtypes.apply(lambda x: x.name).to_dict()

for col_name, dtype in col_dtype_map.items():
    # 每个字段单独生成独立配置字典，避免覆写
    field_conf = {
        "name": col_name.lower(),
        "mode": "NULLABLE",
        "type": pd_to_bq_type_map.get(dtype, "STRING") # 未知类型默认兜底为STRING
    }
    bq_schema.append(field_conf)

运行后bq_schema的结构完全符合要求，可直接序列化为JSON传入BigQuery客户端：

[
    {"name": "a", "mode": "NULLABLE", "type": "INTEGER"},
    {"name": "b", "mode": "NULLABLE", "type": "FLOAT"},
    {"name": "c", "mode": "NULLABLE", "type": "STRING"},
    {"name": "d", "mode": "NULLABLE", "type": "BOOL"}
]

• 存储结构从单个字典改为列表，匹配Schema要求的数组结构
• 每次循环都新建独立字典存储当前字段配置，从根源避免属性覆写问题
• 修正类型字段的键名为规范要求的type，替换原代码错误的dtype
• 补全常见数据类型的映射规则，增加未知类型兜底逻辑，避免运行时报错

内容的提问来源于stack exchange，提问作者Sekhar