Azure Data Factory（ADF）如何配置事件触发器实现双子文件夹均到文件才触发管道

核心思路 #

原生ADF事件触发器不支持多路径同时到达的判断逻辑，所以我们用「事件触发前置校验流程+状态持久化」的方案实现需求，无需引入额外外部服务，可直接在ADF生态内落地。

具体实现步骤 #

• 步骤1：配置通用事件触发器
  新建事件触发器，监听存储账户下ParentFolder路径的Blob created事件，只要ChildFolder1或ChildFolder2有新文件创建就触发校验前置Pipeline（不要直接绑定目标业务Pipeline）。触发器会自动传递新文件的路径、名称等参数作为Pipeline运行入参。
• 步骤2：配置持久化状态存储
  在存储账户中新建一个独立的控制容器，存一个JSON格式的状态文件，用于记录两个子文件夹的文件到达情况，避免ADF运行时变量重置导致状态丢失，状态文件参考格式：

  {
    "ChildFolder1_has_new_file": false,
    "ChildFolder2_has_new_file": false,
    "last_arrived_time": ""
  }
  

• 步骤3：开发校验前置Pipeline逻辑
  前置Pipeline每次被触发后按如下顺序执行：
  1. 读取触发入参里的新文件路径，判断属于哪一个子文件夹
  2. 拉取最新的状态文件，将对应子文件夹的到达状态修改为true，更新last_arrived_time后回写状态文件
  3. 校验两个子文件夹的到达状态：
     • 两个状态都为true：调用目标业务Pipeline，执行完成后将两个状态重置为false，完成一次完整触发流程
     • 仅一个状态为true：直接结束当前Pipeline运行，等待另一个子文件夹的新文件触发下一次校验

可选优化点 #

• 增加超时重置逻辑：如果其中一个文件夹的文件到达后超过设定阈值（比如24小时）另一个文件夹仍无新文件，自动重置状态并发送告警通知，避免无效等待
• 支持多批次并行处理：如果存在多批次文件同时到达的场景，可按文件前缀、日期等维度增加批次标识，状态文件按批次记录，避免不同批次的状态互相干扰

补充说明：如果需要两个文件夹的文件一一对应（例如同批次同文件名前缀的文件才匹配），可以在状态记录时增加文件名匹配规则，校验时同时判断状态和文件关联关系即可。

内容的提问来源于stack exchange，提问作者skoundin