DBT初始加载增量逻辑失效：Snowflake空目标表无数据插入问题

问题根源在于首次加载时目标表{{ this }}为空，select max(load_timestamp) from {{ this }}返回NULL，而load_timestamp > NULL的结果为NULL，不会匹配任何行，导致没有数据插入。

解决方案 #

修改增量加载的WHERE条件，处理目标表为空的场景，有两种常用写法：

写法1：添加OR条件判断空表

{% if is_incremental() %}
where load_timestamp > (select max(load_timestamp) from {{ this }})
   or (select max(load_timestamp) from {{ this }}) is null
{% endif %}

写法2：使用COALESCE设置默认极小时间戳

{% if is_incremental() %}
where load_timestamp > coalesce((select max(load_timestamp) from {{ this }}), '1970-01-01'::timestamp)
{% endif %}

修改后的完整模型代码 #

{{
    config(
        materialized='incremental',
        unique_key= 'resd',
        incremental_strategy='merge',
        merge_update_columns = ['resd']
    )
}}

with stg_kopr as (
    select * from {{ ref('stg_kopr') }}
)

select resd,
        pord,
        edt
from stg_kopr

{% if is_incremental() %}
-- 使用COALESCE处理首次加载空表场景
where load_timestamp > coalesce((select max(load_timestamp) from {{ this }}), '1970-01-01'::timestamp)
{% endif %}

补充说明 #

• 两种写法都能解决首次加载无数据的问题：OR写法更直观，明确判断空表；COALESCE写法更简洁，通过默认极小值让所有历史数据都满足条件。
• 确保stg_kopr表中存在有效数据，且load_timestamp字段有正确的时间值，避免其他潜在问题。

内容的提问来源于stack exchange，提问作者Marcus