将Pandas的datetime64[ns]列加载至BigQuery表时格式异常求助

问题原因 #

Pandas的datetime64[ns]类型存储的是纳秒级时间戳，而BigQuery的TIMESTAMP类型仅支持微秒级精度。当使用load_table_from_dataframe直接加载时，纳秒部分会被解析为整数形式存储，导致显示为一串长数字而非预期的日期格式。

解决方案 #

方法1：截断纳秒到微秒（推荐）

将DataFrame中的datetime列精度截断到微秒，匹配BigQuery TIMESTAMP的支持范围：

# 处理datetime列，保留微秒精度
df['columnA'] = df['columnA'].dt.floor('us')

之后再执行原加载代码即可，指定的TIMESTAMP schema会正确识别该列。

方法2：转换为ISO格式字符串

将datetime列直接转为BigQuery可识别的ISO格式字符串：

# 转换为ISO标准日期字符串
df['columnA'] = df['columnA'].astype(str)

这种方式无需担心精度问题，BigQuery的TIMESTAMP类型会自动解析该字符串。

修改后的完整代码 #

from google.cloud import bigquery

client = bigquery.Client()
table_id = "test_table"

# 先处理datetime列（二选一即可）
# 方法1：截断到微秒
df['columnA'] = df['columnA'].dt.floor('us')
# 方法2：转为ISO字符串
# df['columnA'] = df['columnA'].astype(str)

schema = [
    bigquery.SchemaField("columnA", "TIMESTAMP", mode="REQUIRED"),
    # 添加其他字段
]

job_config = bigquery.LoadJobConfig(
    schema=schema,
    write_disposition="WRITE_TRUNCATE"
)

job = client.load_table_from_dataframe(df, table_id, job_config=job_config)
job.result()

table = client.get_table(table_id)
# 可选：验证列类型是否正确
print(f"columnA字段类型: {table.schema[0].field_type}")

额外提示 #

• 若不指定schema，BigQuery会自动推断类型，但前提是datetime列的格式完全兼容；你之前尝试无效果，正是因为纳秒精度导致推断错误。
• source_format=NEWLINE_DELIMITED_JSON确实不适用于load_table_from_dataframe，该方法内部默认使用Parquet作为中间序列化格式。

内容的提问来源于stack exchange，提问作者Basel