如何修改dbt快照默认列名dbt_valid_from/dbt_valid_to？重跑报错求助

问题根源 #

仅重写default__build_snapshot_table宏只能处理首次创建快照表的列定义，但dbt快照的核心增量逻辑（比如标记旧记录过期、插入新记录）仍依赖默认的dbt_valid_from和dbt_valid_to列名，后续运行时会因找不到这些默认列而触发报错。

完整解决方案 #

需要重写多个快照相关宏，覆盖所有涉及默认列名的逻辑（以下示例将默认列替换为valid_from和valid_to，可根据你的自定义名称调整）：

1. 确认default__build_snapshot_table宏（已完成的部分） #

确保宏中正确定义自定义列：

{% macro default__build_snapshot_table(strategy, source_sql, target_relation) %}
    select
        *,
        current_timestamp() as valid_from,
        cast(null as timestamp) as valid_to
    from (
        {{ source_sql }}
    ) sbq
{% endmacro %}

2. 重写default__snapshot_merge_sql宏 #

这个宏负责快照的合并逻辑，需替换所有默认列引用：

{% macro default__snapshot_merge_sql(target, source, insert_cols) %}
    {% set insert_cols_csv = insert_cols | join(', ') %}

    merge into {{ target }} as DBT_INTERNAL_DEST
    using {{ source }} as DBT_INTERNAL_SOURCE
        on DBT_INTERNAL_DEST.{{ strategy.unique_key }} = DBT_INTERNAL_SOURCE.{{ strategy.unique_key }}

    when matched
        and DBT_INTERNAL_DEST.valid_to is null
        and (
            {{ strategy.row_changed }}
        )
        then update
        set valid_to = current_timestamp()

    when not matched
        then insert ({{ insert_cols_csv }}, valid_from, valid_to)
        values ({{ insert_cols_csv }}, current_timestamp(), null)
{% endmacro %}

3. 若使用check策略，重写default__snapshot_check_all_sql宏 #

如果你的快照采用check策略，需同步修改这个宏的列引用：

{% macro default__snapshot_check_all_sql(target_relation, strategy) %}
    select
        {{ strategy.unique_key }},
        {{ strategy.check_cols | join(', ') }},
        valid_from,
        valid_to
    from {{ target_relation }}
    where valid_to is null
{% endmacro %}

4. 验证快照配置 #

确保你的快照文件无冲突配置，示例如下：

{% snapshot my_snapshot %}
    {{
        config(
            target_schema='snapshots',
            unique_key='id',
            strategy='timestamp',
            updated_at='updated_at'
        )
    }}

    select * from {{ source('my_source', 'my_table') }}
{% endsnapshot %}

验证步骤 #

1. 删除已生成的快照表（首次运行创建的表）
2. 执行dbt snapshot重新初始化快照
3. 修改源表数据后再次运行快照，确认无报错且快照逻辑正常生效

内容的提问来源于stack exchange，提问作者Gladis Carmona Pedraza