如何用Python的load_table_from_dataframe向BigQuery导入含数字列名的DataFrame

BigQuery的字段命名规则明确要求：字段名只能包含字母、数字和下划线，必须以字母或下划线开头，长度不超过300字符，纯数字列名（如3117539507）不符合这个规则，哪怕用反引号包裹也不被认可（这和MySQL的规则不同）。解决方法核心是修改DataFrame的列名，使其符合BigQuery要求，具体方案如下：

方法一：给纯数字列名添加前缀（推荐） #

直接遍历DataFrame的列名，给纯数字的列名添加固定前缀（比如col_），确保列名以字母开头：

# 批量修改列名：纯数字列名加col_前缀，其他列名保持不变
df.columns = [f'col_{col}' if col.isdigit() else col for col in df.columns]

# 执行导入操作
client.load_table_from_dataframe(df, table_path)

修改后的列名（如col_3117539507）完全符合BigQuery的命名规则，导入时不会再触发报错。

方法二：手动定义Schema并映射字段（复杂场景） #

如果需要保留DataFrame的原始列名，可以手动定义BigQuery的表Schema，将纯数字列名映射为合法的字段名：

from google.cloud import bigquery

# 定义符合BigQuery规则的Schema，将原数字列名映射为合法字段名
schema = [
    bigquery.SchemaField("col_3117539507", "INTEGER", mode="NULLABLE"),  # 对应原列名3117539507
    # 添加其他字段的Schema定义...
]

# 配置导入任务，指定Schema
job_config = bigquery.LoadJobConfig(
    schema=schema,
    # 若需覆盖已有表，可添加：write_disposition=bigquery.WriteDisposition.WRITE_TRUNCATE
)

# 导入时需确保DataFrame列顺序与Schema字段顺序完全匹配
client.load_table_from_dataframe(df, table_path, job_config=job_config)

这种方法适合需要保留原始列名记录的场景，但需要维护Schema和原列名的映射关系，相对繁琐。

补充说明 #

如果后续需要关联原始列名，可以维护一个映射字典（比如original_to_bq = {"3117539507": "col_3117539507"}），方便后续查询或数据回溯。

内容的提问来源于stack exchange，提问作者lima