SSIS中SCD Type2/3配置求助：3NF事实表metascore变更同步维度表异常

问题核心原因 #

你当前遇到的维度表行数暴增问题，根源是直接将存在重复ID的全量事实表输入到了SCD组件：事实表同一个业务ID存在多条记录，SCD会将未匹配到的重复ID判定为新维度成员插入，最终行数和事实表一致。

正确配置SCD的前置处理 #

在SCD组件的上游必须对事实表输入做去重处理，保证每个业务ID仅输出1条最新记录：

• 在数据流中添加聚合转换，分组键选择和维度表关联的业务ID字段，聚合操作选择MAX(记录更新时间)，或直接取每个ID对应的最新metascore值，确保聚合后的输出行数和维度表250行的量级一致。

SCD Type2/3 配置步骤 #

1. 打开SCD向导，第一步选择维度表对应的连接管理器，将事实表的业务ID字段和维度表的主键ID字段设置为关联匹配的业务键
2. 列属性设置环节，仅将metascore字段设置为对应的SCD类型：
   • 需保留metascore全量历史变更记录选 SCD Type2，勾选「使用开始和结束日期标识当前和过期记录」，指定维度表中存储生效、失效日期的字段，日期变量选择系统内置的StartTime即可
   • 仅需存储最近1个历史版本的metascore选 SCD Type3，指定维度表中用于存储旧值的字段即可
3. 其他非metascore字段统一设置为固定属性，避免无关变更触发维度表更新
4. 向导生成输出链路后：
   • 「新成员输出」连接到维度表的OLE DB目标，仅用于插入维度表不存在的新增ID记录（如果维度表已经覆盖全量ID可跳过该链路）
   • 「变更的更新输出」连接到维度表的OLE DB更新组件，执行metascore值的更新或Type2新行的插入操作

检测不到变更的排查点 #

• 校验事实表和维度表的业务ID字段类型是否完全一致，例如int和varchar类型不匹配会导致关联失败，无法识别变更
• 校验metascore字段的类型、精度、排序规则是否一致，例如float和decimal类型的精度差、字符串字段的大小写敏感差异都会导致变更检测失效

轻量化替代方案 #

如果不需要保留metascore的历史版本，仅需同步最新值，可以直接使用「查找转换+条件拆分+OLE DB更新」的链路实现，性能远高于SCD组件：

1. 查找转换关联维度表，匹配业务ID，获取维度表中存储的旧metascore值
2. 条件拆分设置判断条件：事实表.metascore != 维度表.metascore，筛选出需要更新的记录
3. 用OLE DB命令组件执行更新语句即可

内容的提问来源于stack exchange，提问作者Hacktan