如何恢复分区数超标的已删除BigQuery表？

针对你遇到的分区数超过4000限制无法直接复制恢复的问题，以下是两种可行解决方案：

方案一：分批恢复小时分区表 #

如果需要保留原表的小时分区粒度，可通过分批插入的方式规避分区数限制：

1. 创建与原表结构一致的空小时分区表
   先确认原表的分区字段（比如_PARTITIONTIME或自定义时间字段），执行SQL创建空表：

   CREATE OR REPLACE TABLE datasetname.temp
   PARTITION BY DATE_TRUNC(_PARTITIONTIME, HOUR) -- 替换为原表的分区规则
   AS SELECT * FROM datasetname.tablename@1694709871000 WHERE 1=2;
   

2. 查询原表快照的时间范围
   先确定需要恢复的数据的时间区间，方便拆分批次：

   SELECT MIN(_PARTITIONTIME), MAX(_PARTITIONTIME) FROM datasetname.tablename@1694709871000;
   

3. 分批次插入数据
   将时间区间拆分为多个子区间（每个子区间对应不超过4000个小时分区），执行插入语句：

   INSERT INTO datasetname.temp
   SELECT * FROM datasetname.tablename@1694709871000
   WHERE _PARTITIONTIME BETWEEN TIMESTAMP('起始时间') AND TIMESTAMP('结束时间');
   

   重复此步骤直到所有时间段的数据都插入完成。

方案二：转换为按天分区表（推荐，操作更简便） #

如果业务允许将分区粒度调整为按天，可大幅减少分区数，直接一次性恢复：

1. 创建按天分区的新表
   同样匹配原表结构，仅修改分区规则为按天：

   CREATE OR REPLACE TABLE datasetname.temp_daily
   PARTITION BY DATE(_PARTITIONTIME) -- 替换为原表对应时间字段的DATE转换
   AS SELECT * FROM datasetname.tablename@1694709871000 WHERE 1=2;
   

2. 一次性插入所有快照数据
   因为按天分区后总分区数仅为原小时分区的1/24，远低于4000限制，可直接执行：

   INSERT INTO datasetname.temp_daily
   SELECT * FROM datasetname.tablename@1694709871000;
   

备选方案：导出到GCS再加载（适合超大规模数据） #

如果数据量极大，查询插入效率低，可先将快照数据导出到云存储再加载到新表：

1. 导出快照数据到GCS

   bq extract --destination_format=PARQUET datasetname.tablename@1694709871000 gs://your-bucket/path/*.parquet
   

2. 加载数据到新分区表

   bq load --source_format=PARQUET --time_partitioning_type=HOUR datasetname.temp gs://your-bucket/path/*.parquet
   

   （--time_partitioning_type可根据需要改为DAY）

内容的提问来源于stack exchange，提问作者brunt_fca