迁移Google Cloud BigQuery部分数据表的高效低成本方案咨询

核心方案：优化版INSERT INTO ... SELECT ... #

既然已排除克隆和快照方案，INSERT INTO ... SELECT ...是最直接可行的选择，但需通过以下优化确保高效与低成本：

1. 精准过滤数据，减少无效扫描 #

仅扫描原表中近100天的数据，避免全表扫描带来的额外成本与耗时：

INSERT INTO `你的项目ID.你的数据集ID.新分区表名`
SELECT *
FROM `你的项目ID.你的数据集ID.原非分区表名`
WHERE 时间分区字段 >= TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 100 DAY)

注意：替换时间分区字段为你表中用于分区的时间列，且新分区表需按该字段创建（例如按日分区）

2. 大数据量场景分批次执行 #

若原表近100天数据量超过10TB，可拆分查询分批次插入，降低单次操作的资源占用与失败风险：

-- 批次1：最近70-100天数据
INSERT INTO `你的项目ID.你的数据集ID.新分区表名`
SELECT *
FROM `你的项目ID.你的数据集ID.原非分区表名`
WHERE 时间分区字段 BETWEEN TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 100 DAY) AND TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 70 DAY)

-- 批次2：最近40-70天数据
INSERT INTO `你的项目ID.你的数据集ID.新分区表名`
SELECT *
FROM `你的项目ID.你的数据集ID.原非分区表名`
WHERE 时间分区字段 BETWEEN TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 70 DAY) AND TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 40 DAY)

-- 批次3：最近0-40天数据
INSERT INTO `你的项目ID.你的数据集ID.新分区表名`
SELECT *
FROM `你的项目ID.你的数据集ID.原非分区表名`
WHERE 时间分区字段 >= TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 40 DAY)

3. 验证数据一致性 #

迁移完成后，执行以下查询确认数据完整：

-- 对比原表与新表的近100天数据行数
SELECT
  (SELECT COUNT(*) FROM `你的项目ID.你的数据集ID.原非分区表名` WHERE 时间分区字段 >= TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 100 DAY)) AS 原表数据量,
  (SELECT COUNT(*) FROM `你的项目ID.你的数据集ID.新分区表名`) AS 新表数据量

行数一致后，可随机抽样对比字段值，确保数据无错误。

4. 后续数据同步 #

迁移完成后需调整数据写入流程：

• 修改ETL/ELT任务，将新数据直接写入分区表
• 若存在延迟写入的历史数据，定期执行增量INSERT，仅同步新增的近90天数据，避免重复扫描全表

方案优势 #

• 仅扫描目标数据范围，大幅降低字节扫描量与成本
• 同数据集内操作无跨区域传输费用，进一步压缩成本
• 分区表可让后续查询仅扫描对应分区，长期降低查询耗时与成本

内容的提问来源于stack exchange，提问作者Pavel Botsman