使用Python脚本上传CSV至GCP BigQuery遇列数不匹配错误求助

这个错误的核心是BigQuery识别到的CSV列数和目标表的列数不匹配，按以下步骤排查修复：

1. 核对表结构与CSV实际列数 #

• 直接检查BigQuery目标表的列数：如果表只有4列，但CSV实际有5列，要么给表新增对应列，要么确认CSV是否存在多余空列/错误分隔符导致列数虚增。
• 如果用autodetect=True自动生成表结构，检查CSV表头行是否完整，有没有被换行、特殊字符打断，导致BigQuery误判列数。

2. 修正Python代码的加载配置 #

重点检查LoadJobConfig里的关键参数：

• skip_leading_rows：如果CSV第一行是表头，必须设为1，否则BigQuery会把表头当作数据行，导致列数计算错误。
• field_delimiter：确认和CSV实际分隔符一致（默认是逗号），如果用制表符(\t)或其他分隔符，需显式指定，比如field_delimiter="\t"。
• quote_character：如果CSV中存在带分隔符的字段（比如"name, test"），要确保该参数和CSV的引号一致（默认是双引号），避免字段内的分隔符被误识别成列拆分符。

示例修正后的代码：

from google.cloud import bigquery

client = bigquery.Client()
table_id = "your-project.your-dataset.your-table"

job_config = bigquery.LoadJobConfig(
    source_format=bigquery.SourceFormat.CSV,
    skip_leading_rows=1,  # 有表头设为1，无表头设为0
    field_delimiter=",",  # 和你的CSV分隔符匹配
    quote_character='"',
    autodetect=True,  # 不确定表结构时开启自动识别
)

with open("target-data.csv", "rb") as source_file:
    job = client.load_table_from_file(source_file, table_id, job_config=job_config)

# 等待任务完成
job.result()
print(f"Loaded {job.output_rows} rows into {table_id}")

3. 验证CSV格式正确性 #

• 用纯文本编辑器打开CSV，检查所有数据行的列数是否一致：排查是否存在某行少逗号、字段引号未闭合等情况，导致列数错乱。
• 检查CSV换行符是否为标准格式（\n或\r\n），避免BigQuery把多行识别为一行，造成列数判断错误。

内容的提问来源于stack exchange，提问作者0x55b1E06FF