DBT增量模型处理数据量过大问题求助排查

你遇到的核心问题是**insert_overwrite增量策略没有触发BigQuery的分区剪枝，导致源表全量扫描**——哪怕你在CTE里加了过滤条件，也没起到减少数据扫描的作用。以下是具体原因和修复方案：

核心原因 #

1. insert_overwrite的默认行为：如果没配置partition_filter，dbt会生成覆盖整个目标表的SQL，BigQuery会扫描源表全量数据，而非仅过滤后的分区数据。
2. 缺少分区过滤的显式声明：你的过滤条件只在CTE里，但没告诉dbt和BigQuery只针对特定分区操作，导致分区剪枝失效。

修复步骤 #

1. 添加partition_filter配置 #

在模型配置中显式指定分区过滤规则，让dbt明确只覆盖目标表中需要更新的分区，同时触发BigQuery的分区剪枝。

方式一：修改properties.yml

version: 2

models:
  - name: model_xy
    description: Description for model xy
    config:
      partition_by:
        field: 'data_date'
        data_type: 'date'
        granularity: 'day'
      incremental_strategy: insert_overwrite
      # 增量运行时仅处理目标表最大日期之后的分区，全量运行时扫描所有数据
      partition_filter: "{{ 'data_date >= (select max(data_date) from ' ~ this ~ ')' if is_incremental() else '1=1' }}"

方式二：在SQL模型中直接配置

{% config(
    materialized='incremental',
    incremental_strategy='insert_overwrite',
    partition_by={
        "field": "data_date",
        "data_type": "date",
        "granularity": "day"
    },
    partition_filter="data_date >= (select max(data_date) from {{ this }})" if is_incremental() else "1=1"
) %}

with
  raw_data as (
    select * from {{source('searchconsole', 'searchconsole')}}
    {%- if is_incremental() -%}
    where data_date >= (select max(data_date) from {{ this }})
    {%- endif -%}
  ),

  further_transformations as (
    select * from ...
  )

select * from further_transformations

2. 确认源表分区状态 #

如果你的源表searchconsole.searchconsole没有按data_date分区，即使添加了过滤条件，BigQuery还是会全量扫描源表。请确保源表也是按data_date分区的表，这样分区剪枝才能真正生效，大幅减少扫描数据量。

3. 验证效果 #

当没有新增数据时，select max(data_date) from {{ this }}会等于源表的最大data_date，此时过滤条件会排除所有源数据，dbt运行时处理的数据量应该接近0，耗时也会显著降低。

内容的提问来源于stack exchange，提问作者Steffen Schubert