BigQuery从GCS加载CSV时的时间戳解析错误及Python解决方法

问题根源 #

没错，这个错误确实是由时间戳末尾的多余0导致的！BigQuery的DATETIME类型仅支持最多6位小数的微秒精度，而你的时间戳2018-05-03 10:25:18.257000000是9位小数的纳秒格式，超出了BigQuery的解析范围，所以会抛出无效日期时间字符串的错误。

Python解决方法 #

下面提供几种不同场景下的Python处理方案，你可以根据文件大小和存储位置选择：

1. 本地CSV文件处理（小到中等文件）

用Pandas读取并转换时间列，将纳秒精度截断为微秒精度：

import pandas as pd

# 读取原始CSV
df = pd.read_csv("your_local_file.csv")

# 转换时间列：先解析为datetime对象，再格式化为6位小数的字符串
df["creation_date"] = pd.to_datetime(df["creation_date"]).dt.strftime("%Y-%m-%d %H:%M:%S.%f")

# 保存处理后的CSV（注意不要保留索引）
df.to_csv("processed_local_file.csv", index=False)

处理后，时间戳会变成2018-05-03 10:25:18.257000，完全符合BigQuery的DATETIME格式要求。

2. 直接处理GCS上的CSV文件（无需下载到本地）

如果文件存储在GCS上，可以用gcsfs库配合Pandas直接读写GCS文件：

import pandas as pd
import gcsfs

# 初始化GCS文件系统（需要已配置好GCP认证）
fs = gcsfs.GCSFileSystem()

# 读取GCS上的原始文件
with fs.open("gs://your-bucket/path/to/original.csv") as f:
    df = pd.read_csv(f)

# 同样处理时间列
df["creation_date"] = pd.to_datetime(df["creation_date"]).dt.strftime("%Y-%m-%d %H:%M:%S.%f")

# 将处理后的文件写回GCS
with fs.open("gs://your-bucket/path/to/processed.csv", "w") as f:
    df.to_csv(f, index=False)

3. 超大CSV文件处理（避免内存溢出）

如果文件过大无法一次性加载到内存，可以用Dask分块处理：

import dask.dataframe as dd

# 分块读取GCS上的大文件
ddf = dd.read_csv("gs://your-bucket/large_file.csv")

# 分块处理时间列
ddf["creation_date"] = dd.to_datetime(ddf["creation_date"]).dt.strftime("%Y-%m-%d %H:%M:%S.%f")

# 保存为多个分块文件（BigQuery支持加载分块CSV）
ddf.to_csv("gs://your-bucket/processed_files_*.csv", index=False)

额外提示 #

如果你不想提前处理文件，也可以在BigQuery加载时使用自定义CSV解析逻辑，比如创建外部表时用PARSE_TIMESTAMP函数转换，但这种方法需要编写SQL，而你明确问的是Python解决方案，所以上面的方法更贴合需求。

内容的提问来源于stack exchange，提问作者John Smith