使用pandas to_gbq写入Google BigQuery时遭遇400无效输入错误

我之前也踩过这个坑，用to_gbq报400无效输入错误，大概率是几个常见的格式或数据兼容性问题导致的，咱们一步步排查解决：

最可能的原因：表引用格式错误 #

你的代码里拼接BigQuery表路径的方式有问题：dataset + table_name_gbq没有添加.分隔符。BigQuery要求表的完整引用格式是dataset_id.table_id，直接拼接会生成像my_datasetmy_table这种无效的表名，这肯定会触发400错误。

修正方法 #

把表路径的拼接改成带.的格式，用f-string更清晰不易出错：

df.to_gbq(f"{dataset}.{table_name_gbq}", project, chunksize=1000, verbose=True, reauth=False, if_exists='replace', private_key=None)

数据类型或字段名不兼容 #

MySQL和BigQuery的字段规则、数据类型有差异，这也是常见的触发400错误的原因：

1. 字段名不符合BigQuery规则 #

BigQuery不允许字段名包含空格、特殊字符（比如-、@、#），也不能以数字开头。如果你的MySQL表有这类字段名，需要先重命名：

import re
# 把所有非字母数字下划线的字符替换成下划线，确保字段名合法
df.columns = [re.sub(r'[^a-zA-Z0-9_]', '_', col) for col in df.columns]

2. 数据类型不匹配 #

• MySQL的ENUM、SET类型会被pandas读成字符串，但如果包含特殊值可能会有问题，可以转换成普通字符串处理；
• MySQL的带时区datetime字段，BigQuery需要对应的数据类型，或者可以移除时区信息：

# 遍历所有datetime类型字段，移除时区
for col in df.select_dtypes(include=['datetime64']).columns:
    df[col] = pd.to_datetime(df[col]).dt.tz_localize(None)

数据内容存在非法字符 #

如果某些文本字段包含控制字符（比如\0、不可见的换行符），也会导致BigQuery判定为无效输入，可以提前清理：

# 移除文本字段中的控制字符
df = df.apply(lambda x: x.str.replace(r'[\x00-\x1F\x7F]', '', regex=True) if x.dtype == 'object' else x)

修正后的完整函数示例 #

def production_to_gbq(table_name_prod,prefix,table_name_gbq,dataset,project):
    # Extract data from Production
    q = """ SELECT * FROM {} """.format(table_name_prod)
    df = pd.read_sql(q, con)
    
    # 预处理：修正字段名，确保符合BigQuery规则
    import re
    df.columns = [re.sub(r'[^a-zA-Z0-9_]', '_', col) for col in df.columns]
    
    # 预处理：移除datetime字段的时区信息（如果存在）
    for col in df.select_dtypes(include=['datetime64']).columns:
        df[col] = pd.to_datetime(df[col]).dt.tz_localize(None)
    
    # 预处理：清理文本字段的控制字符
    df = df.apply(lambda x: x.str.replace(r'[\x00-\x1F\x7F]', '', regex=True) if x.dtype == 'object' else x)
    
    # Write to gbq：使用正确的表路径格式
    df.to_gbq(f"{dataset}.{table_name_gbq}", project, chunksize=1000, verbose=True, reauth=False, if_exists='replace', private_key=None)
    return df

如果还是报错，建议仔细看verbose=True输出的详细错误信息，BigQuery通常会明确指出是哪个字段或哪条数据出了问题，方便进一步排查。

内容的提问来源于stack exchange，提问作者Echochi