使用pandas的to_gbq写入BigQuery时遇GenericGBQException报错求助

我来帮你分析下问题根源，以及对应的解决办法：

问题本质 #

你碰到的GenericGBQException核心原因是数据类型不匹配：
当你第一次运行to_gbq自动创建表时，pandas默认把date、request_number、name识别成了STRING类型，但你的DataFrame里这些字段实际是：

• date：datetime日期类型
• request_number、name：整数类型

后续用if_exists='append'上传数据时，BigQuery尝试把整数/日期类型的数据写入STRING类型的字段，直接触发了JSON数据读取错误。

解决方法 #

方法1：手动指定表结构（推荐，从根源避免问题） #

在第一次创建表时，就指定和DataFrame匹配的BigQuery字段类型，后续append就不会出错：

1. 先定义匹配的schema：

schema = [
    {"name": "date", "type": "DATE"},
    {"name": "request_number", "type": "INTEGER"},
    {"name": "name", "type": "INTEGER"},
    {"name": "feature_name", "type": "STRING"},
    {"name": "value_name", "type": "STRING"},
    {"name": "value", "type": "FLOAT"},
]

2. 修改to_gbq调用，加入table_schema参数：

gbq.to_gbq(
    mini_df,
    'Name-of-Table',
    'Project-id',
    chunksize=10000,
    reauth=False,
    if_exists='append',
    private_key=None,
    table_schema=schema
)

方法2：修改现有BigQuery表的字段类型 #

如果你已经有了自动创建的表，可以直接在BigQuery控制台调整表结构：

• 把request_number、name字段类型从STRING改为INTEGER
• 把date字段类型从STRING改为DATE

注意：修改前要确保表中已有的数据能兼容新类型（比如STRING类型的数值可以正常转成INTEGER，日期字符串格式为YYYY-MM-DD）

修改完成后，再运行你的to_gbq代码就能正常append数据了。

额外注意事项 #

• 使用if_exists='append'时，pandas不会自动同步DataFrame和BigQuery表的字段类型，必须保证两者完全匹配
• 日期字段如果是datetime类型，指定BigQuery的DATE类型时，pandas会自动处理格式转换；如果是字符串类型，要确保格式严格为YYYY-MM-DD

内容的提问来源于stack exchange，提问作者Yali Pollak