Azure SQL实现轻量表增量更新：存在则更新，不存在则插入

核心实现：使用MERGE语句替代MySQL的REPLACE #

Azure SQL中没有MySQL风格的REPLACE函数，但可以通过标准SQL的MERGE语句实现按主键判断，不存在则插入、存在则更新的逻辑，完美适配增量更新需求。

具体步骤 #

1. 维护同步元数据

先创建一张表记录上次更新的时间，避免每次全量扫描：

CREATE TABLE Sync_Metadata (
    TableName VARCHAR(50) PRIMARY KEY,
    LastExecutedDatetime DATETIME2 NOT NULL
);

-- 初始化min_users的同步起始时间（对应首次创建轻量表的时间）
INSERT INTO Sync_Metadata (TableName, LastExecutedDatetime)
VALUES ('min_users', '2024-01-01 00:00:00');

2. 增量更新脚本

每次执行以下脚本，即可高效同步自上次更新以来的新增/修改数据：

DECLARE @LastExecuted DATETIME2;
-- 获取上次同步的时间戳
SELECT @LastExecuted = LastExecutedDatetime 
FROM Sync_Metadata 
WHERE TableName = 'min_users';

-- 执行MERGE操作：匹配则更新，不匹配则插入
MERGE INTO min_users AS Target
USING (
    -- 筛选符合条件的增量数据
    SELECT * 
    FROM users 
    WHERE date_arrive > @LastExecuted
      AND id_object IN (SELECT id_user_create FROM min_all_tasks)
) AS Source
ON Target.id_object = Source.id_object -- 假设id_object是min_users的主键
WHEN MATCHED THEN
    -- 更新需要同步的列（可按需指定，无需全列更新）
    UPDATE SET 
        Target.username = Source.username,
        Target.date_arrive = Source.date_arrive,
        -- 其他需要同步的列...
WHEN NOT MATCHED THEN
    -- 插入新行
    INSERT (id_object, username, date_arrive, ...)
    VALUES (Source.id_object, Source.username, Source.date_arrive, ...);

-- 更新同步时间为当前UTC时间
UPDATE Sync_Metadata
SET LastExecutedDatetime = GETUTCDATE()
WHERE TableName = 'min_users';

3. 可选：清理无效数据

如果min_all_tasks的关联关系会动态变化，需要定期清理min_users中不再符合条件的行：

DELETE FROM min_users
WHERE id_object NOT IN (SELECT id_user_create FROM min_all_tasks);

关键注意事项 #

• 确保min_users已设置主键（如id_object），MERGE依赖主键判断行的唯一性，避免重复数据。
• 按需指定更新列，不要盲目全列更新，能进一步提升执行效率。
• 可将上述脚本配置为Azure SQL代理作业，定期自动执行，实现轻量表的持续维护。

内容的提问来源于stack exchange，提问作者Popavich