如何在Informatica CDQ规则规范中无需Aggregator检查唯一性

由于规则规范仅支持被动mapplet，不能使用Aggregator、Sorter这类主动转换，以下是几种可行的被动式实现方案：

方案1：用Lookup Transformation（被动转换）实现全局唯一性检查 #

这是跨数据集全局检查重复的常用方法：

• 创建Lookup转换，数据源指向存储待检查全量数据的表/数据集
• 将需要校验唯一性的字段（比如用户ID、邮箱）设置为Lookup条件
• 配置Lookup返回一个标记字段（比如返回匹配到的记录数，或固定值），若返回值非空，则当前记录为重复项
• 将包含该Lookup的被动mapplet加入规则规范，通过判断返回值标记重复记录

方案2：直接使用CDQ内置唯一性规则 #

无需自定义mapplet，利用CDQ原生功能更高效：

• 进入规则规范界面，选中目标实体或属性组合
• 选择规则类型为「唯一性检查（Unique Check）」，指定要校验的唯一键属性
• 配置规则输出，比如将重复记录标记为"Duplicate"，直接完成唯一性校验逻辑

方案3：Expression Transformation（被动转换）处理单批次内连续重复 #

仅适用于已排序的数据集，检查单批次内的连续重复记录：

• 在被动mapplet中添加Expression转换，定义两个变量：
  • v_prev_key：存储上一条记录的唯一键值
  • v_is_duplicate：标记当前记录是否重复
• 编写表达式逻辑：

  -- 判断当前记录是否与上一条重复
  v_is_duplicate = IIF(IN_KEY = v_prev_key, 'Y', 'N')
  -- 输出重复标记结果
  o_is_duplicate = v_is_duplicate
  -- 更新变量为当前记录的键值，供下一行判断使用
  v_prev_key = IN_KEY
  

• 注意：必须保证进入规则规范的数据集已经按照唯一键排序（排序操作需在规则规范外完成），否则无法检测非连续的重复项

注意事项 #

• 全局唯一性检查优先选Lookup或CDQ内置规则，Expression仅适用于特定场景
• 使用Lookup时，确保Lookup数据源是最新的全量数据，避免漏判历史重复记录
• CDQ内置规则无需维护转换逻辑，适合长期稳定的唯一性校验需求

内容的提问来源于stack exchange，提问作者Sam G