BigQuery如何正确回填分区数据？解决回填写入错误分区问题

BigQuery调度任务（含自带回填功能）的默认分区写入逻辑，是以任务实际触发执行的日期作为目标分区的取值依据，不会自动识别你SELECT语句里过滤源表用的@run_date参数来匹配目标分区。
你的查询仅在源表过滤阶段使用@run_date拉取了指定历史日期的数据，但没有显式配置目标表的分区映射规则，所以当你在6月22日触发回填任务时，平台默认将查询返回的所有结果写入执行当日（6月22日）对应的分区，最终导致历史数据错放。

根据使用场景选择对应方案即可：

• 方案1：保留调度回填能力，配置分区映射
  不需要修改现有查询SQL，在调度/回填任务的目标表配置项中，关闭默认的「按执行时间自动分配分区」规则，手动将目标表的分区列取值绑定为调度参数@run_date即可。配置完成后触发回填，传入的待补数日期会同时作用于源表过滤和目标分区写入，不会再出现分区错配。
• 方案2：一次性手动补数（适合小范围历史数据回填）
  直接写带显式分区指向的DML语句执行，跳过平台调度的默认分区逻辑：
  1. 先清理对应分区的已有脏数据（如果之前错写过）
     • 如果T1是显式日期列分区（比如分区字段为ds/date）：

       -- 替换为自己的项目、数据集、表名、分区字段名、待补日期
       DELETE FROM `proj.ds.T1` WHERE partition_col = '2024-05-15'
       

     • 如果T1是摄入时间分区（按系统字段_PARTITIONTIME分区）：

       DELETE FROM `proj.ds.T1` WHERE DATE(_PARTITIONTIME) = '2024-05-15'
       

  2. 执行写入，显式指定写入的目标分区
     • 显式日期列分区表写法：

       INSERT INTO `proj.ds.T1` PARTITION(partition_col='2024-05-15')
       SELECT * FROM `gcp_billing_export_v1`
       WHERE DATE(_PARTITIONTIME) = '2024-05-15'
       

     • 摄入时间分区表写法：

       INSERT INTO `proj.ds.T1` (_PARTITIONTIME)
       SELECT
         TIMESTAMP('2024-05-15') AS _PARTITIONTIME,
         * EXCEPT(_PARTITIONTIME) -- 排除源表自带的_PARTITIONTIME字段避免字段数不匹配
       FROM `gcp_billing_export_v1`
       WHERE DATE(_PARTITIONTIME) = '2024-05-15'
       

注意：如果回填的日期范围较大，建议按天拆分执行，避免单查询扫描数据量过大触发配额限制。

内容的提问来源于stack exchange，提问作者analyst045