如何在dbt中实现仅匹配指定列更新目标表（不执行插入）

1. 先合并两个源表的更新数据 #

在模型SQL里，先把两个源表合并成待更新数据集，同时通过内连接过滤出仅和目标表col1/col2/col3匹配的行，避免无效数据进入更新流程：

{% set source_combined %}
select col1, col2, col3, col4, col5 -- 列出需要更新的目标列
from source_table1
union all
select col1, col2, col3, col4, col5
from source_table2
{% endset %}

with filtered_updates as (
    select s.*
    from ({{ source_combined }}) s
    inner join {{ this }} t 
        on s.col1 = t.col1 
        and s.col2 = t.col2 
        and s.col3 = t.col3
)

select * from filtered_updates

2. 配置增量模型，禁用插入逻辑 #

方案一：自定义Merge语句（通用适配多数数据仓库） #

修改模型配置，通过自定义merge_sql覆盖默认逻辑，只保留匹配时的更新步骤：

{{
    config(
        materialized = 'incremental',
        unique_key = ['col1', 'col2', 'col3'],
        incremental_strategy = 'merge',
        merge_sql = """
            merge into {{ this }} as target
            using {{ tmp_relation }} as source
            on target.col1 = source.col1
            and target.col2 = source.col2
            and target.col3 = source.col3
            when matched then update set
                target.col4 = source.col4,
                target.col5 = source.col5 -- 逐一列出需要更新的列
        """
    )
}}

-- 此处粘贴上述合并+过滤的SQL代码
{% set source_combined %}
select col1, col2, col3, col4, col5
from source_table1
union all
select col1, col2, col3, col4, col5
from source_table2
{% endset %}

with filtered_updates as (
    select s.*
    from ({{ source_combined }}) s
    inner join {{ this }} t 
        on s.col1 = t.col1 
        and s.col2 = t.col2 
        and s.col3 = t.col3
)

select * from filtered_updates

方案二：使用update增量策略（适配Snowflake等支持该策略的仓库） #

如果你的数据仓库支持update增量策略，可直接简化配置，该策略本身仅执行更新、不插入新行：

{{
    config(
        materialized = 'incremental',
        unique_key = ['col1', 'col2', 'col3'],
        incremental_strategy = 'update'
    )
}}

-- 此处粘贴上述合并+过滤的SQL代码
{% set source_combined %}
select col1, col2, col3, col4, col5
from source_table1
union all
select col1, col2, col3, col4, col5
from source_table2
{% endset %}

with filtered_updates as (
    select s.*
    from ({{ source_combined }}) s
    inner join {{ this }} t 
        on s.col1 = t.col1 
        and s.col2 = t.col2 
        and s.col3 = t.col3
)

select * from filtered_updates

关键注意点 #

• 务必明确列出所有需要更新的列，避免误更新不需要修改的字段
• 内连接过滤能有效减少merge操作的数据量，提升执行效率

内容的提问来源于stack exchange，提问作者Robertino Bonora