Azure Data Factory数据流验证指定列唯一性的实现方法问询

实现逻辑 #

通过Aggregate转换统计目标列各值的出现频次，筛选出重复记录后，利用Fail组件触发数据流/管道失败，无需保留验证结果。

具体操作步骤 #

1. 拆分数据流分支 #

从数据源节点右键选择「添加分支」，创建两个独立分支，分别用于验证指定的两列（例如ColA和ColB）。

2. 单列聚合统计（以ColA为例） #

• 在分支1中添加Aggregate转换，将ColA设为Group by字段。
• 新增聚合列：count_A = count(ColA)，该字段用于统计每个ColA值的出现次数。

3. 筛选重复记录 #

在Aggregate转换后添加Filter转换，设置过滤条件为：count_A > 1。此步骤会仅保留ColA中存在重复值的记录。

4. 触发失败 #

在Filter转换后添加Fail活动：

• 自定义错误消息，例如"列ColA存在重复值，数据流终止"。
• 开启「仅当有行时执行」开关：只有当Filter输出存在行（即检测到重复）时，才执行Fail操作，直接终止数据流。

5. 重复处理第二列 #

对分支2执行相同操作：将Group by字段改为ColB，聚合列设为count_B = count(ColB)，过滤条件改为count_B > 1，Fail消息对应调整为列B的提示。

注意事项 #

• 所有中间转换（Aggregate、Filter）无需配置接收器，因为不需要保留验证输出。
• 只要任一检测分支触发Fail，整个数据流会立即终止，满足直接失败的需求。

内容的提问来源于stack exchange，提问作者Potis23