将pyarrow毫秒级Timestamp转换为BigQuery可接受格式的问题

你的问题核心是：BigQuery的TIMESTAMP类型仅支持最多6位小数的微秒精度，而你传入的是9位纳秒精度的时间字符串，这导致所有解析操作报错。下面是两种直接可行的解决方法：

方法1：在BigQuery中直接处理字符串 #

通过截取或正则替换，把时间字符串截断到BigQuery支持的精度（微秒6位或毫秒3位），再转换为TIMESTAMP：

保留微秒精度（6位小数） #

-- 截取前26位字符（格式为YYYY-MM-DD HH:MM:SS.FFFFFF）
SELECT TIMESTAMP(LEFT('2010-01-30 00:00:00.000000000', 26)) AS parsed_timestamp;

-- 或者用正则替换保留6位小数
SELECT TIMESTAMP(REGEXP_REPLACE('2010-01-30 00:00:00.000000000', '(\.\d{6})\d+', '$1')) AS parsed_timestamp;

保留毫秒精度（3位小数） #

如果只需要毫秒精度，也可以这样处理：

SELECT TIMESTAMP(LEFT('2010-01-30 00:00:00.000000000', 23)) AS parsed_timestamp;

方法2：在PyArrow阶段提前转换（更高效） #

在数据导出到BigQuery之前，直接在PyArrow里把纳秒级Timestamp转成微秒或毫秒精度，从根源避免格式不兼容问题：

import pyarrow as pa

# 假设你的原始纳秒级Timestamp数组
ts_ns = pa.array(['2010-01-30 00:00:00.000000000'], type=pa.timestamp('ns'))

# 转成微秒精度（BigQuery原生支持）
ts_us = ts_ns.cast(pa.timestamp('us'))
# 或者转成毫秒精度
ts_ms = ts_ns.cast(pa.timestamp('ms'))

# 转换后的数据直接导出到BigQuery即可，无需再做格式处理

内容的提问来源于stack exchange，提问作者tuemar29