如何在不使用触发器和CDC的前提下实现远程表同步并识别Delta记录

针对你当前的表规模（单表3.1万条、日更新量100-500条），且不能占用供应商系统过多资源的前提，推荐以下可直接在Informatica流程中落地的方案：

• 方案1：全量哈希值比对（优先推荐，无供应商侧侵入性）
  不需要修改供应商侧表结构，仅在查询供应商表时，对业务字段拼接后计算校验哈希值，比对我方存量表的同规则哈希值即可快速识别更新记录：
  1. 首先在我方的10张主表中新增一个ROW_HASH字段，用于存储全字段（或所有会更新的业务字段）的哈希校验值
  2. 每次同步时，先查询供应商侧的表，对同一批字段用相同规则计算哈希值，比如用MD5(CONCAT_WS('|', 字段1, 字段2, ..., 字段N))，不同数据库的拼接、哈希函数可对应调整
  3. 关联我方主表的主键和哈希值：主键匹配但哈希值不一致的，就是更新记录，直接写入_HISTORIC表即可，同时更新我方主表的字段值和对应的ROW_HASH值
     对应SQL示例：

  -- 识别更新记录
  INSERT INTO TABLEA_HISTORIC
  SELECT A.* FROM 供应商侧_TABLEA A
  INNER JOIN 我方_TABLEA B
  ON A.PK = B.PK
  WHERE MD5(CONCAT_WS('|', A.字段1, A.字段2, ..., A.字段200)) != B.ROW_HASH
  

  该方案的开销极低，3万条数据的哈希计算和关联操作，不管是在数据库侧还是Informatica的转换环节执行，都能在秒级完成，完全不会增加供应商系统的负载。
• 方案2：基于时间戳比对（如果供应商侧表有最后更新时间字段可直接用，性能最高）
  如果供应商侧的表已经自带LAST_UPDATE_TIME这类系统自动维护的最后更新时间字段，不需要做任何改造，直接每次同步时取大于上一次同步最大时间的记录即可：

  -- 基于时间戳识别新增+更新记录
  SELECT * FROM 供应商侧_TABLEA 
  WHERE LAST_UPDATE_TIME >= 上次同步记录的最大时间戳
  

  拿到的结果里，主键在我方主表不存在的是新增记录，已存在的就是更新记录，分开写入对应表即可。这个方案的性能是最高的，查询返回的记录量就是日增/更新的几百条，几乎没有额外开销。
• 方案3：Informatica自带增量检测组件
  如果你不想改SQL，也可以直接用Informatica PowerCenter的Lookup组件搭配Sorter组件实现增量检测：把供应商侧的全量数据和我方主表的存量数据按主键排序后，用Sorter的比较逻辑判断字段是否有变化，识别出更新记录后直接写入历史表，整个逻辑在Informatica的内存中完成，不需要占用数据库侧的计算资源。

注意：你当前用的左连接找新增记录的逻辑可以保留，和上面的更新识别逻辑组合，单次同步就能完成新增+更新的全量Delta捕获，不需要做全表截断重写，能大幅降低同步的IO开销。

内容的提问来源于stack exchange，提问作者Goks