BigQuery：使用查询向按摄入时间小时分区表插入数据遇问题

首先明确：BigQuery的摄入时间分区表（基于系统伪列_PARTITIONTIME的小时级分区）是支持INSERT操作的，你的语句报错大概率是字段不匹配或分区指定问题，以下是具体解决步骤：

1. 检查字段匹配性 #

确保源表table1的所有用户定义字段与目标表table2的字段完全一致（字段名、数据类型、顺序都要对应）。因为_PARTITIONTIME是BigQuery自动维护的伪列，不需要在SELECT语句中包含它，系统会默认将数据插入到当前时间对应的小时分区。

如果字段不匹配，调整SELECT语句，明确指定字段而非用*，比如：

INSERT INTO table2 (col1, col2, col3)
SELECT col1, col2, col3 FROM table1

2. 指定目标分区插入 #

如果需要将数据插入到特定的小时分区（而非当前时间分区），可以在INSERT语句中显式指定分区：

INSERT INTO table2 PARTITION(_PARTITIONTIME = TIMESTAMP('2024-05-20 14:00:00'))
SELECT * FROM table1

注意：指定的时间必须是小时整点（比如14:00:00），因为你的表是按小时级分区的，非整点时间会被自动对齐到最近的小时分区。

3. 若需基于数据自身时间分区，改用自定义时间列分区 #

如果你的需求是根据源数据中的某个时间字段（而非插入时间）来分区，那么摄入时间分区表不适合这个场景，需要将目标表改为自定义时间列分区表：

1. 重新创建分区表，指定用源表的时间字段作为分区键（小时级）：

CREATE OR REPLACE TABLE table2
PARTITION BY TIMESTAMP_TRUNC(your_time_column, HOUR)
AS SELECT * FROM table1 LIMIT 0;

2. 插入数据：

INSERT INTO table2 SELECT * FROM table1;

常见报错排查 #

• 如果报错提示无法向伪列 _PARTITIONTIME 插入值：检查你的SELECT语句是否包含了_PARTITIONTIME字段，直接移除即可。
• 如果报错提示字段数不匹配：核对源表和目标表的字段列表，确保数量、类型一致，避免用*而是显式指定字段。

内容的提问来源于stack exchange，提问作者Thibaut Massinon