DBT集成Snowflake：增量模型中实现持续递增唯一ID的方法

你的核心问题在于：每次增量同步时，仅对新增数据单独计算row_number()，导致新ID从1重新开始，而非基于目标表已有的最大ID延续。以下是修正方案：

修正思路 #

1. 先获取目标表当前的最大ID值，首次加载时目标表为空，需将默认值设为0
2. 对新增的源表数据，用row_number()生成相对序号，再加上目标表的最大ID，得到全局唯一且持续递增的ID
3. 修复原代码中的语法错误（比如where条件缺失字段、row_number()语法错误）

修正后的DBT模型代码 #

{{ config(materialized = 'incremental') }}

WITH max_id AS (
    -- 获取目标表当前最大ID，首次加载时返回0
    SELECT COALESCE(MAX(ID), 0) AS current_max_id
    FROM {{ this }}
),
new_records AS (
    SELECT 
        -- 用当前最大ID + 新增数据的行号，生成持续递增的ID
        (SELECT current_max_id FROM max_id) + ROW_NUMBER() OVER (ORDER BY CreatedAT, name) AS ID,
        name,
        CreatedAT
    FROM {{ source('leeek', 'property') }}
    {% if is_incremental() %}
        -- 仅同步目标表中不存在的新增数据（基于CreatedAT过滤）
        WHERE CreatedAT > (SELECT MAX(CreatedAT) FROM {{ this }})
    {% endif %}
)
SELECT * FROM new_records

关键细节说明 #

• COALESCE(MAX(ID), 0)：处理首次加载的情况，此时目标表无数据，MAX(ID)返回null，用COALESCE将其转为0，保证首次生成的ID从1开始
• ORDER BY CreatedAT, name：如果源表中存在多条CreatedAT完全相同的记录，仅按CreatedAT排序会导致row_number()的结果不稳定，额外加上name（或其他能区分行的字段）可确保每次排序结果一致，避免ID重复或乱序
• 语法修复：原代码中where > ...缺失字段名，需明确写CreatedAT > ...；Row_Number() Over (Order by CreatedAT AS ID的括号位置错误，需调整为ROW_NUMBER() OVER (ORDER BY CreatedAT, name) AS ID

额外注意事项 #

如果源表存在更新操作（而非仅新增），这种基于CreatedAT过滤的增量方式可能无法捕获更新数据，此时需要结合其他字段（比如修改时间）来调整增量逻辑，但你的场景是仅处理新增记录，当前方案完全适用。

内容的提问来源于stack exchange，提问作者Abiodun Adeoye