SSIS如何从多数据源加载唯一且最新的记录

这类异构数据源增量合并、按主键去重取最新记录的ETL场景，最常用的可视化无脚本工具就是你当前使用的SSIS，同类型的商用工具还有Informatica PowerCenter、IBM DataStage，云原生工具可以选择阿里云DataWorks、AWS Glue等，都可以完全不用自定义脚本或T-SQL实现需求。

你当前遇到的返回字段不全的问题，是因为聚合组件仅配置了按Product_code分组、取ModDate最大值，没有关联回对应行的其他业务字段。可以用以下更简单的无脚本流实现：

• 第一步：分别读取DB源、文件源的全量字段（包含Product_code、ModDate以及所有业务字段），通过Union All组件合并两个数据源的全量数据
• 第二步：新增排序组件，设置排序规则：
  • 第一排序键：Product_code，排序方向升序
  • 第二排序键：ModDate，排序方向降序
  • 勾选「移除具有重复排序值的行」选项，仅将Product_code设为重复判断的唯一键
    这一步处理后，同一个Product_code只会保留ModDate最新的一行，且所有业务字段都会完整保留
• 第三步：写入目标DB前新增查找组件，关联目标表的现有Product_code做判断：
  • 匹配不到的记录走新增分支，直接插入目标表
  • 匹配到的记录走更新分支，通过SSIS原生的目标更新配置完成旧记录替换，全程无需写T-SQL

如果你需要沿用聚合组件的方案，只需要补充关联步骤即可：将聚合得到的Product_code+最大ModDate结果集，和之前合并后的全字段数据集做关联，关联键为Product_code和ModDate，即可匹配到对应行的所有业务字段。

内容的提问来源于stack exchange，提问作者Nimo97