如何避免Azure Data Factory管道因Blob创建重复触发并解决删除报错

一、先解决管道重复触发的根源问题 #

重复触发通常源于Blob触发器的配置疏漏，按以下步骤调整：

• 限定触发器事件类型：仅勾选BlobCreated事件，取消BlobModified选项，避免分块上传大文件时多次触发管道。
• 配置路径过滤规则：在触发器中设置Blob路径的前缀（如input/）和后缀（如.csv），仅监听目标文件的创建操作。
• 调整文件处理方式：将「删除原文件」改为「移动文件至已处理容器」，原路径文件被移走后，即使触发器重复触发也不会找到目标文件，同时保留已处理文件便于排查。

二、消除Delete Activity的“文件不存在”报错 #

即使解决了重复触发，也可通过以下两种方式做兜底处理：

方式1：开启忽略缺失文件选项 #

在Delete Activity的设置面板中，勾选忽略不存在的文件选项，当目标文件不存在时，活动会直接标记为成功，不抛出错误。

方式2：添加前置存在性判断 #

• 在Delete Activity前添加Get Metadata Activity，数据源选择目标Blob存储，通过触发器参数@triggerBody().folderPath和@triggerBody().fileName动态指定要检查的文件路径。
• 添加If Condition Activity，判断逻辑为@activity('Get Metadata').output.exists。
• 仅当条件为true时执行Delete Activity；条件为false时直接跳过，管道正常结束。

三、管道逻辑重构建议（可选） #

若需要更严谨的处理流程，可将管道重构为以下流程：

1. Blob触发器监听指定路径的CSV文件创建事件，传递文件路径和名称参数。
2. Get Metadata Activity检查目标文件是否存在。
3. If Condition分支处理：
   • 文件存在：执行Copy Activity写入数据库，再执行Move Activity将文件移至processed/容器（替代删除，便于回溯）。
   • 文件不存在：直接结束管道，无任何报错。

内容的提问来源于stack exchange，提问作者Oddy