DBT存量增量模型新增分区配置不生效 无需full-refresh的解决方案

已存在的增量模型新增partition_by、partition_expiration_days配置后不生效，是因为DBT默认不会主动修改已存在表的底层元数据规则，仅在全量刷新重建表时才会应用新配置，可通过以下两种方案解决，无需执行full-refresh：

• 方案1：直接在数据仓库层修改现有表的元数据
  该方案适配支持原地修改表分区/过期规则的数仓（以BigQuery为例，其他数仓可替换对应ALTER语法）：

  1. 若表还未按row_ts字段设置日分区，先执行分区规则修改：

  ALTER TABLE `你的项目ID.你的数据集名.目标表名`
  PARTITION BY DATE(row_ts)
  SET OPTIONS (
    partition_expiration_days = 365
  );
  

  2. 若表已配置对应分区，仅需修改过期规则：

  ALTER TABLE `你的项目ID.你的数据集名.目标表名`
  SET OPTIONS (
    partition_expiration_days = 365
  );
  

  手动修改完成后，DBT后续的增量运行会自动适配现有表的分区规则，无需重建表。

• 方案2：新旧表平滑迁移适配
  若数仓不支持原地修改分区规则，按以下步骤操作：

  1. 先将现有存量表重命名为临时表，比如{原表名}_history_backup
  2. 在DBT模型配置中临时追加pre_hook="where 1=2"，运行一次模型，生成符合分区规则的空目标表
  3. 去掉临时pre_hook配置，编写一次性分批同步脚本，将备份表的历史数据按日维度分批插入新的分区表，避开数据源保留周期限制
  4. 历史数据全部同步完成、验证数据一致性后，删除备份表即可

操作前建议先对存量表做全量快照备份，避免误操作导致数据丢失

内容的提问来源于stack exchange，提问作者Soner Guzeloglu