Synapse管道SQL日志表：同名表记录超1条时删除最旧TransferTime记录

针对你在Synapse中实现增量数据同步时的日志表精简需求，这里提供一个直接可行的解决方案，核心逻辑是仅当某张表的日志记录数超过1条时，删除该表对应的最旧同步记录，避免因误删唯一记录导致增量同步失去基准。

实现步骤 #

1. 创建日志清理存储过程 #

在目标SQL数据库中创建如下存储过程，专门用于清理日志表：

CREATE PROCEDURE dbo.CleanupSyncLog
AS
BEGIN
    SET NOCOUNT ON;

    -- 筛选出需要清理的表：记录数>1，且找出该表的最旧同步时间
    WITH TargetLogs AS (
        SELECT 
            TableName,
            MIN(TransferTime) AS OldestTransferTime
        FROM dbo.SyncLog -- 替换为你的实际日志表名
        GROUP BY TableName
        HAVING COUNT(*) > 1
    )
    -- 删除符合条件的最旧记录
    DELETE sl
    FROM dbo.SyncLog sl
    INNER JOIN TargetLogs tl 
        ON sl.TableName = tl.TableName 
        AND sl.TransferTime = tl.OldestTransferTime;
END

2. 集成到Synapse管道中 #

在你的现有Synapse管道里，完成以下配置：

• 在复制数据活动和插入日志记录的存储过程活动之后，添加一个新的存储过程活动
• 配置该活动调用上述CleanupSyncLog存储过程
• 设置活动依赖：仅当前序的日志插入活动执行成功时，才运行这个清理活动（避免日志未插入就执行清理）

3. 示例验证 #

针对你提供的日志表数据：

执行清理存储过程后，日志表将变为：

完全符合需求：Table A、B的最旧记录被删除，Table C因仅1条记录被保留。

注意事项 #

• 建议给日志表的TableName和TransferTime字段创建联合索引，提升大表场景下的清理性能
• 若需要保证清理操作的原子性，可以在存储过程中添加事务包裹（如BEGIN TRANSACTION/COMMIT）
• 测试阶段可以先将DELETE替换为SELECT，确认要删除的记录无误后再执行删除操作

内容的提问来源于stack exchange，提问作者AntonyJ