dbt增量合并策略中merge_exclude_columns配置未按预期生效

核心原因 #

merge_exclude_columns配置并非所有dbt数据仓库适配器都支持，且存在版本限制，你的场景中该参数被dbt忽略，导致merge语句仍用update set *全量更新字段。

具体问题拆解 #

• 适配器兼容性限制
  只有部分适配器（如Snowflake、BigQuery的官方适配）原生支持merge_exclude_columns参数。像PostgreSQL、Redshift这类适配器，dbt默认的merge策略不会识别该参数，自然不会生成排除指定列的update逻辑。
• dbt版本过低
  merge_exclude_columns是dbt较新版本引入的配置项，若你的dbt版本未达到要求，该参数不会生效。

替代解决方法 #

如果当前适配器不支持该参数，可通过自定义宏覆盖默认merge逻辑，手动指定要更新的列：

1. 在dbt项目的macros目录下新建一个宏文件（如custom_merge.sql），写入以下代码：

{% macro default__get_merge_sql(target, source, unique_key, dest_columns, incremental_predicates) %}
  {% set exclude_columns = ['method'] %}
  {% set update_columns = dest_columns | reject('in', exclude_columns) | list %}
  
  merge into {{ target }} as DBT_INTERNAL_DEST
  using {{ source }} as DBT_INTERNAL_SOURCE
  on DBT_INTERNAL_SOURCE.{{ unique_key }} = DBT_INTERNAL_DEST.{{ unique_key }}
  {% if incremental_predicates %}
      {% for predicate in incremental_predicates %}
          and {{ predicate }}
      {% endfor %}
  {% endif %}
  when matched then update set
      {% for col in update_columns %}
          DBT_INTERNAL_DEST.{{ col }} = DBT_INTERNAL_SOURCE.{{ col }} {% if not loop.last %},{% endif %}
      {% endfor %}
  when not matched then insert
      ({{ dest_columns | join(', ') }})
  values
      ({{ dest_columns | map('replace', 'DBT_INTERNAL_DEST.', 'DBT_INTERNAL_SOURCE.') | join(', ') }})
{% endmacro %}

2. 重新运行dbt模型，此时merge语句会自动排除method列，仅更新其他字段。

内容的提问来源于stack exchange，提问作者sakshi