如何创建与原表同步每日更新的BigQuery分区表

以下是几种可行的方案，可根据你的实际场景选择：

方案1：修改原调度任务，直接输出到分区表 #

既然原表lt是每日调度SQL的目标表，最直接的方式是把调度任务的输出目标改成分区表，让每日更新直接写入分区，无需额外同步步骤。

场景1：每日全量覆盖原表 #

如果原调度任务是每天全量生成数据覆盖lt，可直接将目标替换为分区表：

CREATE OR REPLACE TABLE `data_project.dataset.lt_part`
PARTITION BY date_column
AS
SELECT * FROM 原调度查询语句;

每天执行该任务时，会重新生成整个分区表，和原表lt保持完全一致。

场景2：每日增量新增数据 #

如果原调度任务是每天新增当日数据到lt，则用INSERT语句直接写入对应分区：

INSERT INTO `data_project.dataset.lt_part`
SELECT * FROM 每日增量查询语句;

BigQuery会自动根据date_column的值将数据写入对应的分区。

方案2：创建定时同步任务，增量同步到分区表 #

如果无法修改原调度任务，可以新增一个每日调度任务，将原表lt的增量数据同步到分区表。

假设表有唯一主键id，且date_column是数据的日期标识，同步任务可用MERGE语句实现新增/更新：

MERGE `data_project.dataset.lt_part` AS target
USING (
  -- 筛选原表中当日更新或新增的数据，可根据实际情况调整条件
  SELECT * FROM `data_project.dataset.lt`
  WHERE date_column = CURRENT_DATE()
) AS source
ON target.id = source.id
WHEN MATCHED THEN UPDATE SET * = source.*
WHEN NOT MATCHED THEN INSERT * VALUES(source.*);

将该SQL设置为每日调度，和原表的更新任务错开执行即可。

方案3：使用分区物化视图自动同步 #

利用BigQuery的分区物化视图，基于原表lt创建并设置自动刷新，实现原表更新时分区表自动同步。

创建语句示例：

CREATE MATERIALIZED VIEW `data_project.dataset.lt_part_mv`
PARTITION BY date_column
AS
SELECT * FROM `data_project.dataset.lt`;

• 物化视图会自动跟踪原表变化，默认每隔一定时间刷新（可配置刷新频率）。
• 注意：物化视图有部分限制，比如分区键必须是原表中的列，查询逻辑不能包含DISTINCT、复杂聚合等操作（全量同步场景不受影响）。

内容的提问来源于stack exchange，提问作者ΑΘΩ