如何在GCP BigQuery中可靠合并分区billing export表

核心问题排查 #

你之前用LOAD query导入后数据消失，大概率是因为使用了覆盖写入模式（WRITE_TRUNCATE），而非追加模式，或者目标表是GCP自动生成的账单导出表（这类表会定期自动刷新，覆盖原有数据）。以下是两种可靠的迁移方案，完全满足你的需求：

方案一：INSERT INTO 批量/分批追加数据（推荐） #

这种方式直接将旧表分区数据追加到新表，保留原有分区结构，且绝对不会覆盖新表已有数据。

操作步骤 #

1. 确认表结构一致：确保新表和旧表的Schema完全匹配，且均按_PARTITIONTIME分区（分区类型为 DAY 或 HOUR，保持一致）。
2. 执行追加插入：根据数据量选择批量或分批插入：
   • 批量插入全量旧数据：

     INSERT INTO `your-project.your-dataset.new-billing-table`
     SELECT * FROM `your-project.your-dataset.old-billing-table`
     

   • 分批插入（适合超大规模数据，避免超时）：

     -- 按月份分批插入示例
     INSERT INTO `your-project.your-dataset.new-billing-table`
     SELECT * FROM `your-project.your-dataset.old-billing-table`
     WHERE _PARTITIONTIME BETWEEN TIMESTAMP('2023-01-01') AND TIMESTAMP('2023-01-31')
     

3. 数据验证：插入完成后，验证分区数据是否正确留存：

   SELECT 
     DATE(_PARTITIONTIME) AS partition_date,
     COUNT(*) AS row_count
   FROM `your-project.your-dataset.new-billing-table`
   GROUP BY partition_date
   ORDER BY partition_date
   

   对比旧表对应分区的行数，确认数据一致。

优势 #

• 默认使用WRITE_APPEND模式，完全不会覆盖新表已有数据
• 自动保留源表的_PARTITIONTIME分区，无需手动指定分区
• 可灵活控制插入范围，便于监控进度和排查问题

方案二：BigQuery数据传输服务（适合持续同步） #

如果旧表仍有新账单数据持续生成，用数据传输服务可以实现自动增量同步，无需手动重复执行插入语句。

操作步骤 #

1. 进入BigQuery控制台，点击左侧菜单栏的数据传输，创建新传输任务
2. 数据源选择BigQuery，选择旧表作为源表，新表作为目标表
3. 配置同步频率（如每天），并在高级设置中确认写入模式为追加
4. 启动任务后，系统会自动同步源表新增的分区数据到目标表对应分区

注意事项 #

• 确保目标表Schema与源表完全一致，包括_PARTITIONTIME字段
• 传输任务仅同步新增数据，不会覆盖目标表已有内容

关键避坑点 #

• 绝对不要使用LOAD DATA的WRITE_TRUNCATE模式，这会清空目标表后重新写入，是之前数据消失的主要原因
• 目标表必须是手动创建的分区表，不能是GCP自动生成的账单导出表（自动表会每日刷新，覆盖原有数据）

内容的提问来源于stack exchange，提问作者Ori Av-sapir