如何让DBT生成的Merge语句排除自增ID列的Insert子句？

问题原因 #

在Snowflake表中使用ID NUMBER(15) AUTOINCREMENT START 1 INCREMENT 1定义自增列后，仅通过merge_exclude_columns = ['ID']配置，只会让ID列从更新字段列表中排除，但DBT生成的Merge语句仍会在Insert子句中包含ID列。由于Snowflake自增列不允许手动插入值，因此触发Invalid identifier 'ID'错误。

解决方案 #

要让Insert子句也排除ID列，可通过以下两种方式实现：

方法1：用insert_target_columns显式指定插入列 #

在模型的config块中，通过动态过滤的方式指定插入时要包含的目标列，直接排除ID：

{{ config(
    materialized = 'merge',
    merge_exclude_columns = ['ID'],
    insert_target_columns = [col.name for col in adapter.get_columns_in_relation(this) if col.name != 'ID']
) }}

-- 模型SQL逻辑：查询结果不要包含ID列
select 
    -- 其他业务字段，例如：
    name,
    create_time,
    update_time
from your_source_table

该配置会让DBT生成的Insert子句仅包含指定列，自动排除ID；同时merge_exclude_columns确保更新逻辑也不处理ID列。

方法2：自定义Merge模板（进阶） #

如果需要更灵活的控制，可自定义DBT的Merge模板：

1. 在DBT项目的macros目录下创建merge.sql文件
2. 复制DBT默认的Snowflake Merge模板代码，修改Insert部分的字段列表，移除对ID列的引用
3. 确保模板中插入字段列表过滤掉ID，同时保留更新逻辑的排除配置

示例修改后的Insert片段：

insert into {{ target }} ({{ insert_cols | join(', ') }})
select {{ insert_cols | join(', ') }} from source

其中insert_cols需预先处理为排除ID后的列名集合。

注意事项 #

• 模型的查询输出不能包含ID列，Snowflake自增列会自动生成值，手动传入会触发报错
• 确保merge_exclude_columns与insert_target_columns的配置逻辑一致，避免冲突

内容的提问来源于stack exchange，提问作者Jazz77