如何让BigQuery的load_table_from_file与from_dataframe缺失列行为一致？

问题分析 #

用load_table_from_dataframe加载缺失默认值列的数据时，BigQuery会自动用预设默认值填充；但用load_table_from_file加载CSV时，要么因列数不匹配报错，要么开启allow_jagged_rows=True后缺失列被设为NULL，无法触发默认值。核心原因是：

• load_table_from_dataframe会主动告知BigQuery，缺失列需使用表的默认值填充；
• 纯文件加载时，BigQuery默认假设输入包含表的所有列，缺失列会被视为NULL而非“未提供”，因此不会触发默认值表达式。

解决方案 #

在LoadJobConfig中指定field_names参数，明确告诉BigQuery当前输入数据包含哪些列，缺失的列将自动使用表中预设的默认值填充。

修改后的CSV加载代码 #

dataframe = pd.DataFrame({'source':['csv']})

job_config = bigquery.LoadJobConfig(
    source_format='CSV',
    skip_leading_rows=1,
    write_disposition='WRITE_APPEND',
    field_names=['source'],  # 指定输入数据仅包含source列
    allow_jagged_rows=True   # 可选：兼容行格式不一致的情况
)

dataframe.to_csv('temp.csv', index=False)
with open('temp.csv', "rb") as source_file:
    job = bq_client.load_table_from_file(
        source_file, table_ref, job_config=job_config
    )

job.result()

运行结果 #

表格中ts列将自动填充预设的CURRENT_TIMESTAMP()默认值，与load_table_from_dataframe的行为完全一致。

补充说明 #

• 如果CSV文件头部包含所有列名，但数据行中默认值列留空，BigQuery会将空值解析为NULL，不会触发默认值。此时若想保留这种CSV格式，可修改表的默认值表达式为IFNULL(ts, CURRENT_TIMESTAMP())，但优先推荐field_names方案，逻辑更清晰。
• 需确保目标表的ts列已正确配置default_value_expression，否则无法触发自动填充。

内容的提问来源于stack exchange，提问作者Matthew Henderson