使用Python上传Google Cloud CSV至BigQuery的格式问题排查

含空值的cancel列日期转换失效问题 #

• 空值是导致该列转换无效的核心原因。pd.to_datetime()默认容错性较低，当列内存在非标准空标记（包括空字符串、'N/A'、'NULL'等非pandas原生NaN格式的空值）、非法日期值时，要么直接抛出解析错误，要么会把整列回退为object字符串类型，无法识别为标准时间格式，和你遇到的转换失效表现一致。
• 你之前写的date列转换代码还缺少右括号，属于语法笔误，正常运行需要补全。两列统一的正确转换写法需要添加errors='coerce'参数，所有无法解析为日期的值（包括各类空值、非法格式值）都会统一转为pandas时间类型空值NaT，该类型上传BigQuery时会自动识别为DateTime类型的NULL值，不会触发格式冲突。
  转换代码参考：

  import pandas as pd
  # 转换date列
  df['date'] = pd.to_datetime(df['date'], errors='coerce')
  # 转换含空值的cancel列
  df['cancel'] = pd.to_datetime(df['cancel'], errors='coerce')
  

• 转换完成后可执行print(df.dtypes)校验，两列类型显示为datetime64[ns]即为符合BigQuery导入要求的格式。

CSV首列出现冗余整数列问题 #

• 该列不是随机生成的冗余值，是pandas DataFrame默认自带的行索引。调用to_csv()方法时如果不指定参数，pandas会默认把行索引作为第一列写入文件，表现就是无列名、填充连续整数值的首列。
• 解决方法：导出CSV时添加index=False参数，禁止写入行索引即可。
  导出代码参考：

  df.to_csv('for_bq_upload.csv', index=False)
  

前置校验建议 #

正式上传BigQuery前，可以执行print(df.head())打印前5行数据，确认两列日期格式正常、无多余字段，可进一步避免导入格式报错。

内容的提问来源于stack exchange，提问作者Osama