BigQuery通过Python导入CSV时DATE字段解析错误如何解决

解决方案 #

你遇到的报错核心原因是BigQuery加载CSV时默认不会跳过表头行，你生成的CSV第一行是列名date_key，BigQuery把它当成第一条数据尝试解析为DATE类型才触发了错误，只需要调整加载配置即可解决：

• 第一步：添加加载作业配置，跳过表头行
  调用load_table_from_file时传入LoadJobConfig对象，设置skip_leading_rows=1，告诉BigQuery跳过第一行的表头内容。
• 第二步（可选优化）：调整CSV导出的引号规则
  你当前使用的csv.QUOTE_NONNUMERIC会给所有非数字类型字段（包括日期）统一添加双引号，你可以替换为csv.QUOTE_MINIMAL，仅当字段内容包含分隔符、换行符、引号时才添加引号，进一步降低解析冲突概率。
• 第三步（可选）：显式指定类型兼容配置
  如果仍有解析问题，可以在LoadJobConfig中开启allow_quoted_newlines=True、allow_jagged_rows=True等兼容参数，或者显式传入表schema确保字段类型匹配。

修改后的完整代码示例：

import io
import csv
from google.cloud import bigquery

# 声明加载配置
job_config = bigquery.LoadJobConfig(
    skip_leading_rows=1, # 跳过表头行，核心修复点
    source_format=bigquery.SourceFormat.CSV,
    # 可选配置，按需开启
    # allow_quoted_newlines=True,
    # autodetect=False, # 目标表结构已确定的场景可关闭自动识别
)

with io.StringIO() as buf:
    buf.write(df_data.to_csv(header=True, index=False, quoting=csv.QUOTE_MINIMAL))
    buf.seek(0)
    try:
        # 传入配置参数
        job = self.client.load_table_from_file(buf, dest_table, job_config=job_config)
        job.result()
    except:
        buf.seek(0)
        LOG.error("Failed to upload dataframe as csv: \n\n%s\n", buf.read())
        raise

内容的提问来源于stack exchange，提问作者Philippe Hebert