dbt增量模型在BigQuery首次运行时出现重复记录的问题咨询

这个问题我之前处理过，根源在于首次全量构建目标表时，没有对源增量表的重复唯一键记录做去重，导致目标当前表出现多条相同唯一键的记录，后续执行merge/update时，一条目标行匹配到多条源行，就触发了UPDATE/MERGE must match at most one source row for each target row错误。下面是具体的解决方法和注意要点：

一、修复已存在的重复数据（如果已经运行过首次构建） #

如果目标表已经有重复记录，先清理掉冗余数据，保留每个唯一键的最新状态：

-- 保留每个unique_key的最新记录，删除其他重复行
delete from your_target_table
where (unique_key, updated_at) not in (
    select unique_key, max(updated_at)
    from your_target_table
    group by unique_key
);

注：这里用updated_at作为判断最新记录的依据，你可以替换成业务里的时间戳或序列字段

二、修改dbt增量模型，确保全量/增量数据都去重 #

不管是首次全量运行还是后续增量同步，都要保证进入目标表的每个唯一键只有一条记录，最可靠的方式是在模型中先对源数据做去重处理：

1. 模型内新增去重CTE #

在你的dbt模型SQL里，先通过窗口函数筛选每个唯一键的最新记录：

{{ config(
    materialized='incremental',
    unique_key='your_unique_key',
    incremental_strategy='merge'
) }}

with deduplicated_source as (
    select *
    from {{ source('your_source_schema', 'append_only_table') }}
    -- 按唯一键分区，按事件时间倒序排序，取最新的一条
    qualify row_number() over (
        partition by your_unique_key 
        order by event_timestamp desc
    ) = 1
)

select *
from deduplicated_source
{% if is_incremental() %}
-- 增量运行时，只取比目标表最新记录晚的数据
where event_timestamp > (select max(event_timestamp) from {{ this }})
{% endif %}

2. 关键配置说明 #

• unique_key：必须设置为业务唯一键，dbt会基于这个字段做merge匹配
• qualify row_number()：这一步是核心，确保每个唯一键只保留最新的一条记录，不管是全量还是增量数据
• 增量过滤条件：is_incremental()判断时，只同步新增的、比目标表最新时间晚的数据，同时这些新增数据也会经过去重处理

三、后续预防要点 #

• 确认源增量表的生成逻辑：如果可以的话，尽量在源端就避免产生重复唯一键的记录，从根源减少问题
• 测试增量模型：首次运行前，可以先在临时环境验证去重后的数据集是否唯一，避免直接污染生产目标表
• 监控目标表：定期检查目标表的唯一键唯一性，比如加一个dbt测试（unique测试），配置如下：

models:
  your_model_name:
    tests:
      - unique:
          column_name: your_unique_key

内容的提问来源于stack exchange，提问作者Soner Guzeloglu