如何实现失败的Azure Data Factory（ADF）管道自动重跑

方案1：优先使用ADF原生重试配置（无需额外服务） #

这是改造成本最低的方案，无需对接其他Azure服务：

• 活动级重试：所有ADF内置活动（比如调用API的Web活动、拷贝数据的Copy活动）都自带重试配置，可直接在活动设置的常规页签指定最大重试次数（最高支持10次）和重试间隔（秒），针对API临时超时、限流等偶发故障完全够用。
• 管道级全局重试：如果需要整管道运行失败后从失败点重跑，可在管道设置中开启重新运行时从失败点开始选项，搭配触发逻辑即可实现增量重跑，避免重复运行已执行成功的活动。

方案2：Logic Apps/Power Automate 结合ADF REST API实现自动触发 #

你之前遇到的无直接对应操作的问题可通过调用ADF官方REST接口解决，无需新增额外服务：

• 第一步：在ADF中配置Azure Monitor告警规则，当管道运行失败时，将失败管道的ID、资源组名、ADF实例名等上下文信息推送至Logic Apps/Power Automate的HTTP触发端点。
• 第二步：在Logic Apps/Power Automate工作流中添加HTTP操作，调用ADF的创建管道运行接口，认证方式采用Azure AD托管身份，无需手动维护密钥。需要从失败点重跑时，在请求体中指定isRecovery: true和关联的原失败运行ID即可。
• 第三步：可根据业务需要添加重试次数限制、失败二次告警逻辑，避免管道因配置错误无限重跑消耗资源。

方案3：Azure Monitor 告警 + Azure Function 实现自定义重跑逻辑 #

如果需要更灵活的重跑规则（比如按管道类型区分重试次数、重跑前做前置校验等），可使用该方案：

• 配置Azure Monitor告警，将管道失败事件发送到Azure Function的触发端点。
• 在Function代码中调用ADF SDK或者REST API触发重跑，支持自定义各类逻辑：比如特定管道只重试2次、API限流场景下动态调整重试间隔、重跑完成后自动推送运行结果通知等。

通用注意事项 #

• 所有自动重试方案都建议配置最大重试次数阈值，超过阈值后转为人工告警，避免因数据源故障、权限错误等永久故障导致无限重跑。
• 针对增量同步场景，建议开启管道重跑的失败点恢复能力，避免重复拉取已同步的API数据造成数据湖数据重复。

内容的提问来源于stack exchange，提问作者Hammad Hassan Khan