配置dbt增量模型后仍出现重复数据？Snowflake环境问题排查

1. 初始全量加载已引入重复数据 #

dbt的unique_key配置仅在增量更新阶段生效（即模型第一次全量运行后的每次执行），第一次全量构建表时，dbt不会自动对unique_key对应的字段去重。如果你的data源表本身存在重复的customer_id记录，第一次全量运行就会把这些重复数据写入最终表，后续增量更新只会处理新批次数据，不会清理历史重复项。

解决方法：
重新运行模型时，先对源数据做去重处理，用窗口函数保留每个customer_id的最新记录，同时添加增量过滤逻辑：

{{
    config(
        materialized='incremental',
        unique_key='customer_id'
    )
}}
SELECT
    customer_id,
    email,
    updated_at,
    first_name,
    last_name
FROM (
    SELECT
        *,
        ROW_NUMBER() OVER (PARTITION BY customer_id ORDER BY updated_at DESC) AS rn
    FROM data
    {% if is_incremental() %}
        -- 增量运行仅取比最终表最新记录更新的数据
        WHERE updated_at > (SELECT MAX(updated_at) FROM {{ this }})
    {% endif %}
)
WHERE rn = 1

2. 增量批次输入数据存在重复 #

如果每次增量运行时，从data表获取的当前批次数据里有重复的customer_id，dbt默认不会对当前批次去重。这种情况下，Snowflake执行merge操作时可能抛出重复键异常，若未捕获异常，也可能因为重复更新逻辑导致最终表出现重复（或不符合预期的更新结果）。

解决方法：
在查询的子查询层加入去重逻辑（如上面代码中的ROW_NUMBER()窗口函数），确保每个customer_id在当前批次中仅保留一条最新记录。

3. 未配置增量过滤逻辑 #

如果模型没有添加{% if is_incremental() %}过滤条件，每次增量运行都会全量读取data表数据：

• 不仅运行效率极低，还可能因为重复处理历史数据，导致最终表出现重复或更新异常。

解决方法：
必须添加增量过滤条件，仅处理比最终表中最新记录更新的数据（依赖updated_at字段的准确性），避免重复处理历史数据。

额外检查点：

• 确认updated_at字段能准确反映记录的更新时间，保证增量过滤逻辑有效。
• 查看dbt运行日志，排查是否存在merge操作的警告或错误（如源数据重复键提示）。

内容的提问来源于stack exchange，提问作者igaru