将BigQuery日分区表迁移至小时分区表遇分区超限问题求助

错误原因 #

BigQuery限制单写入操作（包括bq load或批量INSERT）生成的分区数不超过4000，你的历史数据覆盖的小时区间数（至少4050个）超出了这个阈值，因此触发报错。

可行解决方案 #

方案1：按时间范围分批导入 #

将历史数据拆分为多个时间窗口，每个窗口对应的小时分区数≤4000（即每个窗口不超过166天，4000/24≈166.67），分多次执行导入操作。

操作步骤：

1. 先查询原表的时间范围，确定拆分节点：

SELECT MIN(dt) AS min_dt, MAX(dt) AS max_dt FROM `<my-project-id>.<my-dataset>.<my-old-table>`

2. 分批执行bq load，通过--time_partitioning_range指定每批的时间范围（确保数据中dt落在该区间内）：

# 第一批示例：2023-01-01 至 2023-05-14
bq load --project_id=<my-project-id> \
--source_format=NEWLINE_DELIMITED_JSON \
--noreplace \
--autodetect \
--time_partitioning_type=HOUR \
--time_partitioning_field=dt \
--time_partitioning_expiration=15552000 \
--clustering_fields=cid,mt,clid,sid \
--ignore_unknown_values=true \
--time_partitioning_range start=2023-01-01T00:00:00,end=2023-05-14T00:00:00 \
<my-dataset>.<my-new-table> gs://<my-bucket>/<shards-name>*

重复执行上述命令，每次调整start和end参数，直到所有数据导入完成。

方案2：先导入临时非分区表，再分批插入目标表 #

如果直接按时间范围过滤导入有困难，可先将全量数据导入临时非分区表，再通过INSERT语句分批写入目标小时分区表。

操作步骤：

1. 创建临时非分区表并导入全量数据：

bq load --project_id=<my-project-id> \
--source_format=NEWLINE_DELIMITED_JSON \
--autodetect \
--ignore_unknown_values=true \
<my-dataset>.<my-temp-table> gs://<my-bucket>/<shards-name>*

2. 分批执行INSERT INTO，按时间范围筛选数据：

# 第一批示例：2023-01-01 至 2023-06-10
INSERT INTO `<my-project-id>.<my-dataset>.<my-new-table>`
SELECT * FROM `<my-project-id>.<my-dataset>.<my-temp-table>`
WHERE dt BETWEEN TIMESTAMP('2023-01-01 00:00:00') AND TIMESTAMP('2023-06-10 23:59:59')

调整时间范围重复执行，直到所有数据迁移完成。
3. 清理临时表：

bq rm -f <my-dataset>.<my-temp-table>

注意事项 #

• 确保分批操作使用追加模式（--noreplace或INSERT INTO默认的WRITE_APPEND），避免重复插入数据。
• 可通过以下语句查看目标表的分区情况，验证每批导入的分区数是否合规：

SELECT partition_id, COUNT(*) AS row_count
FROM `<my-project-id>.<my-dataset>.<my-new-table>$__PARTITIONS_SUMMARY__`
GROUP BY partition_id
ORDER BY partition_id

内容的提问来源于stack exchange，提问作者Amine Mchayaa