Azure Data Factory如何处理重复源CSV数据加载场景？

针对文件名不同但数据与目标表完全重复的场景，可以通过以下几种方法实现管道失败/停止并触发告警：

方法一：哈希值对比法 #

• 用Lookup活动读取目标表中已加载的全量数据（若目标表记录较多，可只读取最近一次加载的数据集，需确保加载时记录了加载批次标识）。
• 用Lookup活动读取新CSV文件的完整数据。
• 借助自定义活动或Azure Function，将源数据和目标数据分别拼接成统一格式的字符串（比如按列排序拼接所有行），计算MD5或SHA256哈希值。
• 添加If Condition活动，判断两个哈希值是否相等：
  • 若相等，调用Fail活动，设置失败消息为「源数据与目标现有数据完全重复」，直接终止管道。
  • 若不等，继续执行后续的复制数据流程。

方法二：内置数据对比活动 #

ADF自带的Data Comparison活动可直接对比源和目标的数据一致性：

• 配置Data Comparison活动：源指向Blob存储的新CSV文件，目标指向SQL Server的目标表。
• 设置对比规则：选择所有列作为匹配键，检查全量数据是否无差异。
• 用If Condition活动判断活动输出的hasDifference字段：
  • 若hasDifference为false，触发Fail活动终止管道。
  • 若hasDifference为true，执行复制数据活动。

方法三：临时表对比法 #

通过SQL临时表实现数据对比，适合数据量较大的场景：

• 用Copy Data活动将新CSV数据复制到SQL Server的临时 staging 表（每次运行前清空该表）。
• 用Lookup活动执行SQL查询，检查staging表与目标表的差异：

  SELECT COUNT(*) AS diff_count 
  FROM (
      SELECT * FROM staging_table 
      EXCEPT 
      SELECT * FROM target_table
  ) AS diff_data
  

• 基于Lookup返回的diff_count值，用If Condition活动判断：
  • 若diff_count为0，调用Fail活动，同时清理staging表数据。
  • 若diff_count大于0，将staging表数据同步到目标表，再清理staging表。

告警设置 #

管道失败后，可在ADF的「Alerts」面板创建告警规则：

• 触发条件选择「管道运行失败」。
• 配置通知方式（邮件、Microsoft Teams等），实现重复数据场景的及时告警。

内容的提问来源于stack exchange，提问作者Deepen Gajjar