Azure Data Factory配置Copy Data活动仅复制Blob Storage新增文件以避免MySQL数据重复的技术咨询

当然可以实现只复制容器中新增文件的需求，避免MySQL出现重复数据！针对你在Azure Data Factory里的场景，这里有几个实用的解决方案：

方案一：利用Blob触发器的事件上下文精准处理单文件 #

既然你已经在用created触发器，其实可以直接借助触发器传递的事件属性，让Copy Data活动只处理刚触发的那个新增文件：

• 打开你的Blob触发器配置，确认已经启用了事件属性输出（默认是开启状态）
• 编辑Copy Data活动的源数据集（Blob存储），将文件路径设置为动态内容：@triggerBody().fileName，同时把“文件筛选器”清空或者设置为匹配该文件名
• 这样每次有新文件创建时，触发器只会触发管道处理这个特定的文件，不会遍历整个容器的所有文件，从根源避免重复复制

方案二：用水印（Watermark）实现批量增量复制 #

如果你的场景是可能有批量新增文件，或者需要按时间范围筛选，水印方法会更灵活：

1. 创建水印存储：可以在MySQL里建一张小表（比如watermark_table），只存一个字段last_copy_time，用来记录上次完成复制的时间戳；也可以用Blob存储里的JSON文件来存这个值
2. 读取水印：在管道开头添加一个Lookup活动，读取last_copy_time的值
3. 筛选新增文件：在Copy Data活动的源设置中，开启“筛选器”，设置条件为LastModifiedDate大于@activity('LookupWatermark').output.firstRow.last_copy_time（Blob存储支持按最后修改时间筛选）
4. 更新水印：复制完成后，添加一个Copy活动或者Stored Procedure活动，把last_copy_time更新为当前UTC时间@utcNow()

方案三：用MySQL唯一约束兜底避免重复数据 #

如果前面的方法无法完全覆盖你的场景，或者想再加一层保障，可以通过MySQL的唯一约束来阻止重复插入：

• 先给你的MySQL表添加唯一约束，比如基于文件名和文件创建时间（确保能唯一标识每条记录）：

  ALTER TABLE your_target_table ADD UNIQUE KEY unique_record (file_name, file_created_time);
  

• 在Copy Data活动的设置选项卡中，把“写入行为”设置为Upsert，并指定刚才创建的唯一键作为匹配键；或者如果只想忽略重复数据，可以在sink的“预复制脚本”中添加：

  SET SQL_MODE = 'STRICT_TRANS_TABLES,NO_AUTO_VALUE_ON_ZERO,NO_ENGINE_SUBSTITUTION';
  

  这样当出现重复键时，MySQL会自动忽略插入操作

注意事项 #

• 使用触发器事件属性的方法时，要确保触发器只监听“文件创建”事件，并且每个文件创建都会触发一次管道
• 水印方法要统一使用UTC时间，避免时区差异导致的重复或遗漏文件
• 唯一约束的字段要设计合理，确保不会把不同的记录误判为重复

内容的提问来源于stack exchange，提问作者CR7