dbt快照表自定义字段dbt_valid_to_or_from异常问题求助

针对你遇到的两个快照字段问题，核心是重写default__build_snapshot_table宏时的逻辑漏洞，以下是具体调整方案：

问题根源 #

1. dbt_valid_to_or_from字段的条件判断逻辑倒置，优先取了dbt_valid_from而非dbt_valid_to
2. 快照更新阶段，新增记录的dbt_valid_to_or_from字段未被正确赋值（首次运行是全量初始化，逻辑覆盖到了，但增量更新分支遗漏）

调整后的宏代码 #

{% macro default__build_snapshot_table(strategy, sql, target_relation) %}
    {% set select_sql = snapshot_staging_table(strategy, sql, target_relation) %}

    {% set temp_relation = make_temp_relation(target_relation) %}

    {{ run_query(create_table_as(True, temp_relation, select_sql)) }}

    {% set insert_sql %}
        insert into {{ target_relation }} (
            {% for col in adapter.get_columns_in_relation(target_relation) %}
                {{ col.column }}{% if not loop.last %}, {% endif %}
            {% endfor %}
        )
        select
            {% for col in adapter.get_columns_in_relation(temp_relation) %}
                {% if col.column == 'dbt_valid_to_or_from' %}
                    -- 逻辑修正：有dbt_valid_to则取它，否则取dbt_valid_from
                    case
                        when dbt_valid_to is not null then dbt_valid_to
                        else dbt_valid_from
                    end as dbt_valid_to_or_from
                {% else %}
                    {{ col.column }}
                {% endif %}{% if not loop.last %}, {% endif %}
            {% endfor %}
        from {{ temp_relation }}
        where not exists (
            select 1
            from {{ target_relation }}
            where {{ strategy.unique_key }} = {{ temp_relation }}.{{ strategy.unique_key }}
              and {{ target_relation }}.dbt_valid_to is null
        )
    {% endset %}

    {% set update_sql %}
        update {{ target_relation }}
        set dbt_valid_to = {{ temp_relation }}.dbt_valid_from,
            -- 更新历史记录时同步修正dbt_valid_to_or_from
            dbt_valid_to_or_from = {{ temp_relation }}.dbt_valid_from
        from {{ temp_relation }}
        where {{ target_relation }}.{{ strategy.unique_key }} = {{ temp_relation }}.{{ strategy.unique_key }}
          and {{ target_relation }}.dbt_valid_to is null
          and {{ strategy.row_changed(target_relation, temp_relation) }}
    {% endset %}

    {{ run_query(update_sql) }}
    {{ run_query(insert_sql) }}
{% endmacro %}

关键逻辑说明 #

• 字段取值修正：在select语句中通过case判断，确保当dbt_valid_to有值时优先取该值，否则用dbt_valid_from，直接解决第一个问题
• 新增记录赋值：insert_sql分支中，新增记录的dbt_valid_to_or_from会通过case逻辑自动取dbt_valid_from（因为新增记录的dbt_valid_to为NULL），解决第二次运行后的NULL问题
• 历史记录更新：在update_sql中同步更新历史记录的dbt_valid_to_or_from为新的dbt_valid_from（即原记录的失效时间），保证变更记录的字段值正确

验证步骤 #

1. 替换原有宏代码后，运行dbt snapshot
2. 检查目标快照表：
   • 已变更的历史记录：dbt_valid_to_or_from等于dbt_valid_to
   • 新增记录：dbt_valid_to_or_from等于dbt_valid_from且不为NULL

内容的提问来源于stack exchange，提问作者andexte