Python DataFrame日期列导入BigQuery类型报错及格式咨询

数据老陈

2026-7-1

问题原因及解决方案

一、类型自动变更的原因

精度不匹配：pandas的datetime64[ns]类型支持纳秒（9位小数）精度，而BigQuery的DATETIME类型仅支持微秒（6位小数）精度，无法容纳纳秒级数据。
工具自动映射逻辑：使用pandas_gbq.to_gbq等导入工具时，会自动检测源数据类型与目标表定义的兼容性。当发现源数据的纳秒精度超出DATETIME的支持范围时，会自动将字段类型转为支持纳秒的TIMESTAMP。
NaT值的影响：虽然NaT可映射为BigQuery的NULL，但结合精度问题，工具会优先选择更兼容的TIMESTAMP类型来适配所有数据（包括带纳秒的有效值和NaT）。

二、解决方法

方法1：调整数据精度以匹配DATETIME

将pandas的datetime列截断到微秒级，消除纳秒部分后再导入：

# 向下取整到微秒，去掉纳秒
df['date'] = df['date'].dt.floor('us')
# 导入时指定目标字段类型为DATETIME即可

此时数据精度与BigQuery DATETIME兼容，工具不会自动转换类型。

方法2：改用TIMESTAMP类型

如果业务场景允许，直接将目标表的字段类型改为TIMESTAMP，无需修改数据，导入过程会自动匹配类型，避免报错。

方法3：转为字符串后导入

将datetime列转为BigQuery DATETIME支持的字符串格式，再指定目标类型为DATETIME：

import pandas as pd

# 转换为带微秒的字符串（去掉纳秒后三位），处理NaT为None
df['date'] = df['date'].apply(
    lambda x: x.strftime('%Y-%m-%d %H:%M:%S.%f')[:-3] if pd.notna(x) else None
)

三、日期转字符串的格式化规则

针对原格式'2024-01-19T18:33:16.000000000'：

保留完整纳秒格式：直接将datetime列转为字符串，pandas会自动输出原格式：
```
df['date'] = df['date'].astype(str)
```
转为BigQuery DATETIME兼容格式：使用%Y-%m-%d %H:%M:%S.%f格式化后，截取前26位保留6位微秒：
```
df['date'] = df['date'].dt.strftime('%Y-%m-%d %H:%M:%S.%f').str[:-3]
```
自定义格式（如去掉小数部分）：使用%Y-%m-%dT%H:%M:%S规则：
```
df['date'] = df['date'].dt.strftime('%Y-%m-%dT%H:%M:%S')
```