BigQuery加载毫秒级时间戳报错，请求技术协助

这个问题的核心是时间戳单位不匹配导致的数值溢出，我来帮你拆解原因和解决方案：

问题根源 #

BigQuery的TIMESTAMP类型存储的是微秒级Unix时间戳，有效范围对应公元1年到9999年。你的原始CSV时间戳1522865628160是毫秒级（13位数字），但加载时BigQuery误将其解析为秒级时间戳，自动乘以10^6转换为微秒，得到1522865628160000000——这个数值对应的时间是约48291年，远远超出了BigQuery的时间范围上限，所以触发了报错。

解决方案 #

1. 重新加载数据（推荐，从根源避免问题） #

在加载CSV时，明确告诉BigQuery时间戳的单位是毫秒，用TIMESTAMP_MILLIS()函数转换后再存入表中：

方法A：使用SQL查询加载（灵活可控）

先创建一个临时外部表指向你的CSV文件，再通过转换写入正式表：

-- 创建临时外部表（替换为你的存储路径和字段定义）
CREATE OR REPLACE EXTERNAL TABLE `your-project.your-dataset.temp_csv_table`
OPTIONS (
  format = 'CSV',
  uris = ['gs://your-bucket/your-file.csv'],
  skip_leading_rows = 1 -- 如果CSV有表头
);

-- 转换并写入正式表
CREATE OR REPLACE TABLE `your-project.your-dataset.target_table` AS
SELECT
  TIMESTAMP_MILLIS(CAST(timestamp_str AS INT64)) AS timestamp_field,
  -- 替换为你的其他字段
  col1, col2, col3
FROM `your-project.your-dataset.temp_csv_table`;

方法B：使用bq命令行加载

如果用命令行工具，可以直接指定转换逻辑：

bq load --source_format=CSV \
  --schema 'timestamp_field:STRING,col1:STRING,col2:INT64' \
  your-project.your-dataset.target_table \
  gs://your-bucket/your-file.csv \
  --transform 'timestamp_field = TIMESTAMP_MILLIS(SAFE_CAST(timestamp_field AS INT64))'

2. 修复已错误加载的数据 #

如果数据已经加载到表中，你可以通过UPDATE语句修正超出范围的时间戳：

UPDATE `your-project.your-dataset.target_table`
SET timestamp_field = TIMESTAMP_MILLIS(SAFE_CAST(timestamp_field / 1000000 AS INT64))
WHERE timestamp_field > TIMESTAMP '9999-12-31 23:59:59.999999';

这里的逻辑是：把错误的微秒值（实际是秒级转来的）除以10^6还原为原始毫秒数，再用TIMESTAMP_MILLIS()转换为有效时间戳。

3. 预防措施 #

• 避免直接将数字字符串导入TIMESTAMP字段，先导入为INT64或STRING类型，再通过对应单位的函数转换（TIMESTAMP_SECONDS()/TIMESTAMP_MILLIS()/TIMESTAMP_MICROS()）。
• 加载数据前，确认时间戳的单位（秒/毫秒/微秒），匹配BigQuery的转换函数。

内容的提问来源于stack exchange，提问作者Nipun