使用Python向BigQuery上传日期列时如何设置为DATETIME类型？

pandas的datetime64类型默认会被BigQuery自动映射为TIMESTAMP类型，要让日期列被识别为DATETIME，核心是在上传时显式指定表的schema结构。

方法一：使用pandas_gbq库上传时指定schema #

1. 先定义目标表的schema，将目标日期列的类型设为DATETIME：

table_schema = [
    {"name": "to_date", "type": "DATETIME"},
    # 按需添加其他列的类型定义，比如：
    # {"name": "customer_id", "type": "STRING"},
    # {"name": "amount", "type": "FLOAT64"}
]

2. 调用to_gbq上传时传入schema参数：

import pandas_gbq

pandas_gbq.to_gbq(
    dataframe=base_tedesco_mae,
    destination_table="你的项目ID.数据集ID.表名",
    project_id="你的项目ID",
    table_schema=table_schema,
    if_exists="replace"  # 可选值：append/replace/fail，根据需求选择
)

方法二：使用google-cloud-bigquery官方客户端上传 #

如果使用官方的BigQuery Python客户端，同样通过配置LoadJobConfig指定schema：

from google.cloud import bigquery

client = bigquery.Client(project="你的项目ID")
job_config = bigquery.LoadJobConfig(
    schema=[
        bigquery.SchemaField("to_date", "DATETIME"),
        # 其他列的schema定义...
    ],
    write_disposition="WRITE_TRUNCATE"  # 对应replace操作，可选WRITE_APPEND/WRITE_EMPTY
)

# 执行上传
load_job = client.load_table_from_dataframe(
    base_tedesco_mae,
    "你的项目ID.数据集ID.表名",
    job_config=job_config
)
load_job.result()  # 等待上传任务完成

注意事项 #

• 确保你的日期列是无时区的datetime类型（你代码中已经设置utc=False，符合BigQuery DATETIME类型的要求，因为DATETIME不支持时区信息）
• 如果DataFrame包含多列，建议在schema中明确所有列的类型，避免自动映射出现意外问题

内容的提问来源于stack exchange，提问作者Rafael França