使用SSIS Lookup转换实现无唯一键的源表到目标表插入更新

核心结论 #

你当前的场景完全不需要新增永久ID类字段，每日仅10-15条的数据量下，两种方案均可实现需求，优先推荐Load_Date轻量方案。

方案1：基于Load_Date实现同步（优先推荐） #

你的设想完全可行，当前目标表所有Load_Date均为NULL的状态刚好可以作为同步标记位，操作步骤如下：

• 配置Lookup Transformation组件，匹配逻辑设置为源表的Date/Load_Date字段 与 目标表的Load_Date字段匹配，Lookup的数据源选择目标表，仅查询Load_Date字段即可
• 按Lookup匹配结果分流处理：
  • 无匹配（Lookup No Match Output）：判定为未同步的新记录，直接通过OLE DB目标组件插入目标表，插入时给Load_Date赋值为当前同步批次日期/源表对应Date值
  • 有匹配（Lookup Match Output）：判定为已同步记录，直接丢弃该数据流即可

补充：如果单日存在多条同日期记录，仅需要把匹配逻辑调整为所有字段联合匹配，你的数据量极小，多字段联合匹配的性能损耗完全可以忽略。

方案2：临时哈希ID对比方案（适用于需要全字段更新的场景） #

如果后续需求调整为需要覆盖更新已同步记录的字段值，无法仅靠Load_Date判断时，可以使用临时哈希ID方案，不需要在目标表存储ID类字段：

• 在数据流源端新增计算列，通过HASHBYTES('SHA2_256', CONCAT_WS('|', 字段1, 字段2, 字段3...所有字段))生成临时哈希ID，该值可以唯一标识一条记录的全部内容
• 配置Lookup Transformation的匹配逻辑为：源端临时哈希ID 与 目标表动态计算的哈希ID匹配（目标表的哈希ID不需要预先存储，Lookup查询时动态计算即可）
  • 无匹配：直接插入目标表，不需要插入临时哈希ID列
  • 有匹配：如果需要更新字段内容，走OLE DB Command执行更新语句，覆盖对应记录的所有非Load_Date字段即可

注意事项 #

• 匹配前先确认Date/Load_Date字段的格式、精度一致，避免因datetime和datetime2的毫秒差、时区差导致匹配失败
• 每日15条以内的数据量，即使全表扫描对比也不会有性能问题，无需担心联合匹配的效率

内容的提问来源于stack exchange，提问作者Grant Doole