基于BigQuery分区表的dbt增量模型全量刷新问题求助

问题背景 #

• 源表为BigQuery按_PARTITIONTIME日分区的表，查询强制要求带分区过滤条件
• 目标是构建增量模型，实现每个Id仅保留最新一条记录
• 常规增量运行（dbt run）正常，但执行全量刷新（dbt run --full-refresh）时触发分区过滤错误：

  Cannot query over table 'my_dataset.my_table' without a filter over column(s) '_PARTITION_LOAD_TIME', '_PARTITIONDATE', '_PARTITIONTIME' that can be used for partition elimination

触发错误的原始代码 #

{{
    config(
        materialized='incremental',
         unique_key='Id'
    )
}}

select *
from `my_dataset.my_table`

{% if is_incremental() %}
where _PARTITIONTIME > timestamp_sub(current_timestamp, INTERVAL 1 DAY)
{% endif %}

qualify row_number() over(partition by Id order by SystemModstamp desc) = 1

已验证的可行方案 #

在全量刷新场景下添加覆盖所有分区的过滤条件，既满足BigQuery的分区要求，又能扫描全量数据：

{{
    config(
        materialized='incremental',
         unique_key='Id'
    )
}}

select *
from `my_dataset.my_table`

{% if is_incremental() %}
where _PARTITIONTIME > timestamp_sub(current_timestamp, INTERVAL 1 DAY)
{% else %}
where _PARTITIONTIME < current_timestamp
{% endif %}

qualify row_number() over(partition by Id order by SystemModstamp desc) = 1

其他优化方案 #

1. 改用_PARTITIONDATE简化语法 #

全量刷新时用日期类型的分区列，语法更直观：

{% else %}
where _PARTITIONDATE <= current_date()
{% endif %}

2. 基于is_full_refresh()宏优化判断逻辑 #

直接通过dbt内置宏区分全量/增量场景，代码可读性更强：

{% if is_incremental() %}
where _PARTITIONTIME > timestamp_sub(current_timestamp, INTERVAL 1 DAY)
{% elif is_full_refresh() %}
where _PARTITIONTIME < current_timestamp
{% endif %}

3. 小表场景下跳过分区过滤（谨慎使用） #

如果源表数据量较小，可通过变量控制跳过分区过滤，注意此方法会触发全表扫描，可能增加成本：

{{
    config(
        materialized='incremental',
         unique_key='Id'
    )
}}

select *
from `my_dataset.my_table`

{% if is_incremental() %}
where _PARTITIONTIME > timestamp_sub(current_timestamp, INTERVAL 1 DAY)
{% elif var('allow_full_scan', false) %}
-- 仅小表使用，跳过分区过滤
{% else %}
where _PARTITIONTIME < current_timestamp
{% endif %}

qualify row_number() over(partition by Id order by SystemModstamp desc) = 1

运行全量刷新时执行：dbt run --full-refresh --var 'allow_full_scan: true'

内容的提问来源于stack exchange，提问作者Ashok KS