BigQuery写入时间戳时无法识别非UTC时区该如何处理？

你遇到的报错是写入环节的格式兼容问题，和官方文档描述并不冲突：
官方文档提到的时区解析规则，仅适用于BigQuery标准SQL的查询运行场景，不适用数据写入/加载时的默认字符串转TIMESTAMP逻辑。Apache Beam BigQuery IO、BigQuery原生批量加载/流式写入的默认格式校验，仅支持以下两种TIMESTAMP字符串格式：

• 带UTC标识Z的ISO格式字符串，如 2024-01-01T12:00:00Z
• 带数字时区偏移的ISO格式字符串，偏移需严格遵循±HH:MM格式，如 2024-01-01T12:00:00+02:00

  你之前尝试的+2:00格式不符合规范，小时位必须补前导零，因此也会触发格式错误。
  带IANA时区名称（如Europe/Zurich、America/Los_Angeles）的字符串，仅能在BigQuery SQL语句的时间函数解析时使用，无法直接作为TIMESTAMP类型的写入值。

你可以根据业务需求选以下任意一种方案处理：

1. 直接写入UTC时间（最推荐）
   TIMESTAMP类型本身不存储时区信息，所有值底层均以UTC时间存储。你可以直接把本地时间转为UTC格式后写入，后续查询需要展示当地时间时，再通过SQL的时区转换函数实现：

# 转UTC时间带Z标识写入
timestamp = dateutil.parser.isoparse(log['timestamp'])
log['local_timestamp'] = timestamp.astimezone(pytz.UTC).strftime("%Y-%m-%dT%H:%M:%SZ")
# 可额外新增字段存储时区名，方便后续查询转换
log['time_zone'] = 'Europe/Zurich'

查询时按指定时区格式化示例：

SELECT
  local_timestamp,
  FORMAT_TIMESTAMP("%Y-%m-%d %H:%M:%S", local_timestamp, time_zone) AS zurich_time
FROM your_table

2. 写入带数字偏移的时间字符串
   如果需要在写入阶段带入时区信息，可计算当前时区的偏移量，拼接为符合±HH:MM规范的格式：

import pytz
zurich_tz = pytz.timezone('Europe/Zurich')
timestamp = dateutil.parser.isoparse(log['timestamp']).astimezone(zurich_tz)
# 自动生成带正确偏移的字符串，示例输出：2024-05-20T12:30:00+02:00
log['local_timestamp'] = timestamp.isoformat()

3. 批量加载场景可指定时区参数
   如果是批量加载离线数据，可在加载配置中指定默认时区，此时写入的不带时区的时间字符串会按指定时区解析为UTC时间存储。

内容的提问来源于stack exchange，提问作者Alessandro Calmanovici