如何在dbt生成的BigQuery Merge语句中添加分区过滤减扫描量

AI 小北

2026-8-20

解决dbt BigQuery增量模型分区剪枝的方案

核心逻辑

要实现分区剪枝降低扫描成本，需同时完成两项操作：

限制源数据仅取近3个月的变更/新增数据（匹配你的业务规则）
在Merge匹配条件中添加目标表的日期过滤，让BigQuery仅扫描相关分区

具体实现步骤

1. 调整模型配置与查询逻辑

在你的模型SQL中，新增增量过滤配置并限制源数据范围：

{{ config(
    materialized='incremental', 
    alias='sale_transactions', 
    schema='marts', 
    unique_key='unique_key',
    partition_by={
      "field": "sale_date",
      "data_type": "timestamp",
      "granularity": "day"
    },
    require_partition_filter = false,
    database="iprocure-edw",
    -- 新增：指定Merge时的分区过滤规则
    incremental_predicates=[
        "DBT_INTERNAL_DEST.sale_date >= TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 3 MONTH)"
    ]
) }}

-- 你的源数据查询逻辑
SELECT
    unique_key,
    sale_date,
    -- 其他业务字段
FROM {{ ref('stg_sale_transactions') }}
{% if is_incremental() %}
    -- 增量模式下，仅处理近3个月的源数据
    WHERE sale_date >= TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 3 MONTH)
{% endif %}

2. 关键配置说明

incremental_predicates：该配置会将指定条件注入dbt自动生成的Merge语句ON子句，最终生成的匹配条件为：
```
ON DBT_INTERNAL_SOURCE.unique_key = DBT_INTERNAL_DEST.unique_key
AND DBT_INTERNAL_DEST.sale_date >= TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 3 MONTH)
```
此条件会触发BigQuery的分区剪枝，仅扫描目标表中近3个月的分区，避免全表扫描。
源数据日期过滤：确保仅处理需要更新的最新数据，同时与目标表的过滤范围对齐，减少不必要的数据处理开销。