如何在Snowflake中实现增量加载？含T1至T2同步场景需求

1. 初始全量同步 #

创建T2表结构 #

先复制T1的表结构（包含约束、数据类型等），或者手动定义匹配的结构：

-- 复制T1的完整表结构
CREATE TABLE T2 LIKE T1;

-- 手动定义结构（可选，如需调整字段）
-- CREATE TABLE T2 (
--     id INT PRIMARY KEY,
--     name VARCHAR(50),
--     last_updated TIMESTAMP,
--     -- 其他字段与T1保持一致
-- );

全量插入初始数据 #

将T1的所有数据同步到T2：

INSERT INTO T2
SELECT * FROM T1;

2. 每周增量同步（T1加载完成后执行） #

由于T1是截断后全量加载，我们需要对比T1与T2的差异，执行更新、插入、删除操作。Snowflake的MERGE语句可以一次性完成这三类操作，是最高效的方式。

假设表通过id字段作为唯一匹配键，示例SQL如下：

MERGE INTO T2
USING T1
ON T2.id = T1.id
-- 匹配到相同记录时，更新T2中与T1不一致的字段
WHEN MATCHED THEN
    UPDATE SET
        T2.name = T1.name,
        T2.last_updated = T1.last_updated,
        -- 列出所有需要同步的字段
        T2.other_column = T1.other_column
-- T1存在但T2不存在的记录，插入到T2
WHEN NOT MATCHED THEN
    INSERT (id, name, last_updated, other_column)
    VALUES (T1.id, T1.name, T1.last_updated, T1.other_column)
-- T2存在但T1不存在的记录，从T2删除
WHEN NOT MATCHED BY SOURCE THEN
    DELETE;

关键注意事项 #

• 唯一键要求：必须存在一个或多个字段能唯一标识记录（比如主键id），否则MERGE无法正确匹配记录。
• 字段同步：UPDATE部分需明确列出所有需要同步的字段，避免遗漏；若字段较多，可通过动态SQL生成，但生产环境建议显式指定，防止意外变更。
• 自动调度：可以通过Snowflake任务（Task）实现每周自动执行同步，示例如下：

-- 创建每周一凌晨2点执行的同步任务（假设T1在周日完成加载）
CREATE OR REPLACE TASK sync_t1_to_t2
WAREHOUSE = YOUR_WAREHOUSE_NAME
SCHEDULE = 'USING CRON 0 2 * * 1 UTC'
AS
MERGE INTO T2
USING T1
ON T2.id = T1.id
WHEN MATCHED THEN
    UPDATE SET
        T2.name = T1.name,
        T2.last_updated = T1.last_updated
WHEN NOT MATCHED THEN
    INSERT (id, name, last_updated)
    VALUES (T1.id, T1.name, T1.last_updated)
WHEN NOT MATCHED BY SOURCE THEN
    DELETE;

-- 启用任务
ALTER TASK sync_t1_to_t2 RESUME;

可选：仅同步新增与更新（不删除） #

如果不需要删除T2中T1已移除的记录，去掉WHEN NOT MATCHED BY SOURCE THEN DELETE即可：

MERGE INTO T2
USING T1
ON T2.id = T1.id
WHEN MATCHED THEN
    UPDATE SET
        T2.name = T1.name,
        T2.last_updated = T1.last_updated
WHEN NOT MATCHED THEN
    INSERT (id, name, last_updated)
    VALUES (T1.id, T1.name, T1.last_updated);

内容的提问来源于stack exchange，提问作者Devaraj Mani Maran