如何使用dbt增量模型过滤新行避免重复数据插入

针对你的需求——每日运行dbt增量模型，仅插入Metadata Hash未在目标表中出现过的记录（忽略Load_time差异），可以通过以下步骤实现：

1. 配置增量模型核心参数 #

在dbt模型文件开头配置增量模型的关键属性，指定物化方式、增量策略和唯一键：

{{ config(
    materialized='incremental',
    incremental_strategy='merge', -- Snowflake推荐用merge策略，自动处理匹配与插入
    unique_key='Metadata' -- 基于Metadata字段判断重复
) }}

2. 编写增量查询逻辑 #

通过dbt内置的is_incremental()变量判断是否为增量运行，仅过滤出目标表中不存在的Metadata记录：

WITH source_data AS (
    -- 从Snowflake源视图获取数据
    SELECT 
        Nat_K1,
        Nat_k2,
        Product,
        Supplier,
        Component,
        Metadata,
        Load_time
    FROM {{ source('your_source_schema', 'your_source_view') }} -- 替换为你的源视图信息
)
SELECT *
FROM source_data
{% if is_incremental() %}
    -- 增量运行时，排除目标表已有的Metadata记录
    WHERE Metadata NOT IN (SELECT Metadata FROM {{ this }})
{% endif %}

3. 可选：更稳妥的去重方式（避免哈希碰撞） #

如果担心Metadata哈希存在极低概率的碰撞，可以直接用生成Hash的原始字段（Product、Supplier、Component）判断重复，替换上述WHERE子句：

WHERE NOT EXISTS (
    SELECT 1 FROM {{ this }} t
    WHERE t.Product = source_data.Product
      AND t.Supplier = source_data.Supplier
      AND t.Component = source_data.Component
)

关键说明 #

• {{ this }}是dbt内置变量，代表当前模型对应的目标表
• 若选择incremental_strategy='append'，需确保WHERE过滤逻辑正确，否则会插入重复数据；merge策略会自动匹配唯一键，仅插入不重复的记录
• 确保源视图中的Metadata确实由Product、Supplier、Component生成，否则去重逻辑会失效

内容的提问来源于stack exchange，提问作者TheLoneGrape