Azure Data Factory长重试配置异常：验证失败后1小时重试运行问题

我明白你现在卡在哪了：配置了管道的longRetry但完全没达到预期效果，因为你要的是数据集验证失败后每小时重试切片，但ADF的longRetry机制和这个场景根本不匹配。让我拆解下问题，再给你具体的落地方案：

为什么你的当前配置不生效？ #

首先得理清ADF的执行逻辑：数据集的validation策略是在活动执行前的初始化阶段触发的——如果验证失败（比如文件大小没达到minimumSizeMB阈值），整个切片会直接标记为失败，根本不会进入管道的重试流程。而管道的longRetry是针对管道运行过程中出现的报错（比如复制活动超时、连接失败），两者触发时机完全不同，自然达不到你要的效果。

正确的解决方案：把验证逻辑移到管道活动中 #

要实现“每小时检查数据集验证情况，直到通过”的需求，我们需要把验证逻辑从数据集层面移到管道的活动里，这样就能通过控制流来实现重试逻辑。具体步骤如下：

1. 移除数据集的validation policy #

先把数据集里的这段配置删掉：

"policy": { "validation": { "minimumSizeMB": 0.000005 } }

我们要在管道活动里手动做验证，而不是依赖预执行的数据集验证。

2. 用Get Metadata活动实现大小验证 #

创建一个管道，添加Get Metadata活动：

• 选择你的目标数据集
• 在“字段”选项里勾选Size（用来获取文件的字节大小）

3. 用Until活动实现循环重试 #

添加Until活动，把Get Metadata和判断逻辑嵌套进去：

• Until的终止条件：设置为验证通过的表达式，把字节转成MB后和你的阈值对比：

  @greater(div(activity('Get Metadata1').output.size, 1024*1024), 0.000005)
  

• 循环内的逻辑：
  • 先执行Get Metadata活动检查文件大小
  • 添加If Condition活动判断验证结果：
    • 如果验证失败：添加Wait活动，设置等待时间为01:00:00（1小时），然后回到循环开头重新检查
    • 如果验证成功：退出Until循环，执行你后续的业务逻辑（比如复制数据、转换操作等）
• 设置最大重试次数：在Until活动的配置里，可以指定最大循环次数（比如和你原来的longRetry:2对应，设置3次循环，包含首次检查）

4. 备选方案：用定时触发器实现每小时检查 #

如果你不想用Until循环，也可以创建一个每小时触发的Recurrence触发器：

• 触发器设置为每小时运行一次
• 管道里先执行Get Metadata验证
• 如果验证通过，就用Execute Pipeline活动触发你的业务管道；如果失败，管道直接结束，下一小时触发器会自动再次运行检查

总结 #

核心思路就是：把数据集的预验证逻辑移到管道活动中，这样验证失败不会直接终止切片，而是可以通过控制流（Until+Wait）或者定时触发器来实现每小时重试的需求——这才是ADF中处理这类场景的正确姿势。

内容的提问来源于stack exchange，提问作者Sudeep Singh Thakur