在Azure中构建带审批网关与If Else逻辑的增量数据质量检测机制

完整执行流程 #

1. 手动启动增量检测管道，ADF/Synapse Pipeline识别新数据并写入待校验隔离存储。
2. 执行统计测试，生成校验结果。
3. 校验通过：自动启动合并管道，将待校验数据合并到生产存储，ADLS/Blob自动生成新版本；随后触发Azure DevOps Pipeline。
4. 校验失败：Azure Monitor触发告警；开发人员通过审批选择是否手动覆盖，若选择覆盖则启动合并管道并触发DevOps Pipeline，否则终止流程。

内容的提问来源于stack exchange，提问作者Imperial_J