BigQuery调度查询回填异常：仅更新最新分区，旧分区未更新

首先，你的问题根源非常明确：当前SQL的_TABLE_SUFFIX过滤条件只锁定了前一天的日期，所以每次执行这个查询时，只会读取events_20开头且后缀为前一天日期（比如今天是2024-05-20，就只读events_20240519）的表，自然只能往对应的最新分区写入数据，历史分区完全没被触及——这就是回填时历史分区没更新的核心原因。

你的判断是对的：回填操作确实不应该用固定的FORMAT_DATE('%y%m%d', DATE_SUB(CURRENT_DATE(), INTERVAL 1 DAY))作为_TABLE_SUFFIX条件，这个逻辑只适合日常的增量数据调度，完全不适合历史数据的回填场景。

具体修改方案 #

如果需要回填某段时间范围内的历史数据，你需要调整_TABLE_SUFFIX的过滤逻辑，以下是两种常见的修改方式：

示例1：回填指定日期区间的历史数据 #

SELECT 
  user_pseudo_id, 
  event_bundle_sequence_id, 
  event_timestamp, 
  event_date, 
  event_server_timestamp_offset, 
  parameters.key as parameters, 
  parameters.value.string_value as parameters_string_value, 
  parameters.value.int_value as parameters_int_value, 
  parameters.value.float_value as parameters_float_value, 
  parameters.value.double_value as parameters_double_value, 
FROM (
  SELECT 
    user_pseudo_id, 
    event_bundle_sequence_id, 
    event_timestamp, 
    event_date, 
    event_server_timestamp_offset, 
    event_params 
  FROM `xxx.xxx.events_20*` 
  -- 这里替换成你需要回填的日期区间，比如2024年5月1日到5月18日
  WHERE _TABLE_SUFFIX BETWEEN '240501' AND '240518'
), UNNEST(event_params) as parameters

示例2：一次性回填所有历史数据 #

SELECT 
  user_pseudo_id, 
  event_bundle_sequence_id, 
  event_timestamp, 
  event_date, 
  event_server_timestamp_offset, 
  parameters.key as parameters, 
  parameters.value.string_value as parameters_string_value, 
  parameters.value.int_value as parameters_int_value, 
  parameters.value.float_value as parameters_float_value, 
  parameters.value.double_value as parameters_double_value, 
FROM (
  SELECT 
    user_pseudo_id, 
    event_bundle_sequence_id, 
    event_timestamp, 
    event_date, 
    event_server_timestamp_offset, 
    event_params 
  FROM `xxx.xxx.events_20*` 
  -- 移除固定日期过滤，读取所有以events_20开头的历史表
), UNNEST(event_params) as parameters

额外注意事项 #

• 务必区分日常增量调度和历史回填的SQL逻辑：日常调度用你原来的前一天过滤条件完全没问题，但回填时必须调整日期范围。
• 执行回填前，建议先测试小范围数据（比如单天），确认数据正确性后再扩大范围，避免重复写入或数据错误。
• 如果你的目标表是分区表，确保写入时是按event_date（或对应分区字段）正确分区，这样回填的数据会自动落到对应的历史分区中。

内容的提问来源于stack exchange，提问作者JHob