SqlBulkCopy结合MERGE时如何插入最新数据并处理重复？

1. 临时表的清理时机 #

• 如果是会话级临时表（名称以#开头）：SQL Server会在会话结束后自动回收，无需手动清理；如果是全局临时表（##开头），则必须在MERGE执行成功且事务提交后，执行DROP TABLE IF EXISTS 临时表名或DELETE FROM 临时表名。
• 如果用的是永久 staging 表（不是临时表）：务必在MERGE完成且事务提交成功后再清理数据，避免事务回滚时丢失待处理的记录。绝对不能在MERGE操作前清理，否则会直接丢失本次要处理的数据。

2. 事务失败时MERGE的记录处理逻辑 #

MERGE的执行完全依赖事务上下文：

• 若事务失败回滚，整个MERGE操作会被彻底撤销，临时表中的数据不会被同步到永久表，相当于这次MERGE从未执行过。
• 要确保事务覆盖SqlBulkCopy写入临时表和MERGE合并两个完整步骤，这样任意一步出错，整个流程都会回滚。如果使用会话级临时表，回滚后若会话未结束，临时表数据仍可用于重试；如果是永久staging表，数据会保留，可重新发起事务处理。

3. 临时表中重复ID记录的处理（保留最新行） #

方式1：提前清理临时表的旧记录 #

在执行MERGE前，先删除同一ID下的旧记录，只保留最新的一条：

DELETE t1
FROM StagingTable t1
INNER JOIN StagingTable t2 
    ON t1.ID = t2.ID 
    AND t1.LastUpdatedOn < t2.LastUpdatedOn;

之后再执行常规MERGE即可，这种方式能减少MERGE时的数据量，提升效率。

方式2：在MERGE语句中直接过滤最新行 #

无需提前清理，通过窗口函数在MERGE的USING子句中直接筛选每个ID的最新记录：

MERGE INTO PermanentTable AS Target
USING (
    SELECT ID, Col1, Col2, LastUpdatedOn
    FROM (
        SELECT 
            *,
            ROW_NUMBER() OVER (PARTITION BY ID ORDER BY LastUpdatedOn DESC) AS RowNum
        FROM StagingTable
    ) AS SubQuery
    WHERE SubQuery.RowNum = 1
) AS Source
ON Target.ID = Source.ID
WHEN MATCHED THEN
    UPDATE SET 
        Target.Col1 = Source.Col1,
        Target.Col2 = Source.Col2,
        Target.LastUpdatedOn = Source.LastUpdatedOn
WHEN NOT MATCHED THEN
    INSERT (ID, Col1, Col2, LastUpdatedOn)
    VALUES (Source.ID, Source.Col1, Source.Col2, Source.LastUpdatedOn);

更简便的实现思路 #

可以在.NET端提前对数据进行去重：在将数据传入SqlBulkCopy之前，用LINQ按ID分组，每组只保留LastUpdatedOn最大的记录。这样数据库端无需额外处理，直接写入临时表后执行MERGE即可，能减少数据库的计算压力。

内容的提问来源于stack exchange，提问作者diedie2