MS-SQL环境下如何实现无需每次全量truncate/load的ETL流程

以下方案均不需要修改源库表结构添加时间字段，同时支持捕获源端删除操作，可大幅降低全量同步带来的资源消耗：

1. 优先启用变更捕获能力（最优方案） #

如果源库支持变更捕获功能，直接开启即可实现纯增量同步：

• 若源库为MS-SQL：开启内置的变更捕获(CDC) 或变更跟踪(CT) 功能，无需修改业务表，即可自动记录15分钟间隔内所有表的新增、更新、删除操作，每次同步仅拉取这段时间的变更数据到staging表，数据量仅为全量拉取的1%~10%
• 若源库为MySQL/PostgreSQL等其他OLTP库：启用对应CDC能力（如MySQL Binlog、PostgreSQL WAL），抽取的变更数据直接写入staging变更表即可，完全避免全量拉取

2. 无CDC权限场景的轻量增量方案 #

如果无法申请源库CDC权限，用哈希比对法实现增量拉取：

• 每次同步第一步仅从源库拉取所有表的「业务主键+整行哈希值」，哈希可通过源库内置函数生成，比如MD5(CONCAT_WS('|', 字段1, 字段2, ...))，注意排除无业务意义的非变更字段
• 把拉取到的主键+哈希集合，和目标端正式表已有的主键+哈希做比对，快速区分三类数据：
  • 仅源端存在：新增数据
  • 两端主键一致但哈希不同：更新数据
  • 仅目标端存在：源端已删除数据
• 仅把新增、更新的主键对应的完整行数据从源库拉取到staging表，删除数据仅记录主键即可，不需要拉取全量数据

3. 后续流程优化 #

不需要改动原有星型模型的处理逻辑，仅调整为增量处理即可：

• 维度表：用staging的增更数据合并到正式维度表，删除的维度行按业务规则处理（硬删/标记删除），SCD2场景仅需对更新的行做版本过期+新行插入，无需扫描全表
• 事实表：仅对staging中的增量事实行关联维度表获取代理键，再通过MERGE操作同步到正式事实表，删除的事实行按主键直接删除即可
• 性能补充优化：给维度表业务主键、事实表业务主键建非聚集索引，关联和匹配时走索引查找，避免全表扫描；staging表可使用内存优化表减少磁盘IO消耗

内容的提问来源于stack exchange，提问作者variable