如何在dbt快照中设置dbt_valid_from与dbt_valid_to匹配分区日期？

当然可以实现，核心是让dbt使用你的分区日期而非执行时间作为快照版本的生效/失效时间，以下是两种可行方案：

方案1：使用Timestamp策略（推荐） #

如果你的分区日期可以直接代表数据的更新时间，这是最简单的方式。dbt的timestamp策略会自动用指定的updated_at字段值填充dbt_valid_from，并基于该字段判断数据是否有变更。

示例代码 #

{% snapshot customer_snapshot %}

{{
    config(
        target_schema='snapshots',
        strategy='timestamp',
        unique_key='customer_id',
        updated_at='partition_date', -- 指定分区日期字段作为更新时间
    )
}}

-- 合并年/月/日分区字段为统一日期格式
select
    *,
    cast(concat(year, '-', month, '-', day) as date) as partition_date
from spectrum_external_schema.customer_table
-- 筛选当前要快照的分区
where year || '-' || month || '-' || day = '{{ var("snapshot_date") }}'

{% endsnapshot %}

方案2：自定义Check策略的字段赋值 #

如果必须使用check策略（基于特定字段的变更判断），可以手动指定dbt_valid_from的取值为分区日期，dbt会自动处理dbt_valid_to的更新（当后续版本存在时）。

示例代码 #

{% snapshot product_snapshot %}

{{
    config(
        target_schema='snapshots',
        strategy='check',
        unique_key='product_id',
        check_cols=['price', 'category'], -- 用于判断变更的字段
    )
}}

select
    *,
    -- 将分区日期转为timestamp类型，匹配dbt_valid_from的默认类型
    cast('{{ var("snapshot_date") }}' as timestamp) as dbt_valid_from,
    null as dbt_valid_to
from spectrum_external_schema.product_table
where partition = '{{ var("snapshot_date") }}'

{% endsnapshot %}

关键注意事项 #

• 补历史数据时，必须按分区日期从早到晚的顺序执行快照，这样dbt_valid_to才能正确被设置为下一个版本的dbt_valid_from
• 确保var("snapshot_date")的格式与分区字段的格式完全匹配（比如YYYY-MM-DD或YYYYMMDD）
• Redshift中日期类型转换要符合语法规范，比如cast('2023-01-01' as date)或cast('20230101' as date format 'YYYYMMDD')

内容的提问来源于stack exchange，提问作者Frédéric EGMORTE