SQL Server中如何实现增量加载？含表数据同步场景

没问题，我来帮你搞定这个数据同步的问题！你之前用MERGE没成功，大概率是没处理好状态标记或者匹配逻辑，咱们一步步来解决：

1. 先更新目标表结构（添加状态标记字段） #

你的product_target表原本没有Is_status字段，这是标记插入/更新状态的关键，所以第一步得先加上它：

ALTER TABLE product_target ADD COLUMN Is_status VARCHAR(20) DEFAULT 'inserted';

2. 初始数据加载（第一次同步50条记录） #

这一步很直接，把源表的初始50条数据全部插入目标表，同时标记为inserted：

INSERT INTO product_target (productId, productName, productStatus, productType, productDesc, Is_status)
SELECT productId, productName, productStatus, productType, productDesc, 'inserted'
FROM product_source;

3. 增量同步（处理新增/更新的100条记录，支持每日同步） #

这里用MERGE（或MySQL的等效语法）是最优解，核心是通过productId作为唯一匹配依据（默认它是产品的唯一标识，建议给它加主键/唯一约束），分别处理更新和插入场景，同时更新状态标记：

针对SQL Server的MERGE写法 #

MERGE INTO product_target AS target
USING (
    -- 可选：如果源表有更新时间字段（比如update_time），可以加筛选条件只同步最近一天的变更
    -- 例如：WHERE update_time >= DATEADD(day, -1, GETDATE())
    SELECT productId, productName, productStatus, productType, productDesc
    FROM product_source
) AS source
ON target.productId = source.productId

-- 匹配到相同productId时：更新目标表字段，并标记为updated
WHEN MATCHED THEN
    UPDATE SET
        target.productName = source.productName,
        target.productStatus = source.productStatus,
        target.productType = source.productType,
        target.productDesc = source.productDesc,
        target.Is_status = 'updated'

-- 未匹配到productId时：插入新记录，标记为inserted
WHEN NOT MATCHED THEN
    INSERT (productId, productName, productStatus, productType, productDesc, Is_status)
    VALUES (source.productId, source.productName, source.productStatus, source.productType, source.productDesc, 'inserted');

针对MySQL的写法（8.0+支持MERGE，或用INSERT...ON DUPLICATE KEY UPDATE） #

如果你的数据库是MySQL，且productId已设为唯一键/主键，用下面的语法更合适：

INSERT INTO product_target (productId, productName, productStatus, productType, productDesc, Is_status)
SELECT productId, productName, productStatus, productType, productDesc, 'inserted'
FROM product_source
-- 可选：筛选最近一天的变更，例如：WHERE update_time >= DATE_SUB(NOW(), INTERVAL 1 DAY)
ON DUPLICATE KEY UPDATE
    productName = VALUES(productName),
    productStatus = VALUES(productStatus),
    productType = VALUES(productType),
    productDesc = VALUES(productDesc),
    Is_status = 'updated';

4. 每日自动同步的实现 #

要实现每日自动同步，把上面的增量同步SQL做成定时任务即可：

• SQL Server：创建SQL Server代理作业，设置每日执行的时间计划。
• MySQL：创建事件调度器，配置每日执行的触发规则。
• PostgreSQL：借助pg_cron扩展来创建定时任务。

关键注意事项 #

• 确保productId是唯一标识：一定要给product_source和product_target的productId字段加主键或唯一约束，这样才能准确匹配需要更新的记录，避免重复插入。
• 优化同步效率：如果源表没有记录更新时间的字段，建议添加一个（比如update_time），这样每日同步时只需要扫描最近一天的变更记录，不用全表扫描，大幅提升性能。如果没法加字段，可以考虑维护一个同步日志表，记录每次同步的时间或已同步的productId。

内容的提问来源于stack exchange，提问作者badri