Azure Data Factory：存储事件触发器的动态路径配置问题

问题根源 #

你用my/fixed/directory/*/*/*/作为触发器路径会报PathNotFound，是因为ADLS存储事件触发器不支持用*作为通配符匹配路径——这里的*会被当成路径的字面量字符，ADLS会去寻找名称包含*的实际文件夹，自然找不到对应路径。

正确配置步骤 #

1. 调整存储事件触发器的路径规则 #

触发器的路径匹配是基于前缀+递归，而非通配符：

• 在存储事件触发器的配置中，将“Blob路径开头”设置为固定根路径：my/fixed/directory/
• 勾选递归选项，这样触发器会监控该根路径下所有层级的子文件夹（包括动态生成的年/月/日目录）中的新文件
• 不需要添加任何通配符，触发器会自动捕获该前缀下所有子目录的新增文件事件

2. 通过触发器参数传递实际文件路径到管道 #

为了让管道能动态获取触发的文件所在的具体路径，需要给触发器添加参数：

• 编辑触发器，切换到“参数”标签，添加参数（比如sourceFolderPath和sourceFileName）
• 参数值分别设置为：
  • sourceFolderPath: @triggerBody().folderPath
  • sourceFileName: @triggerBody().fileName
• 保存触发器，关联管道时确保管道接收这些参数

3. 配置源数据集动态读取路径 #

修改源ADLS数据集的配置：

• 在数据集的“连接”标签中，将“文件路径”设置为动态内容，引用管道参数：

  @concat(pipeline().parameters.sourceFolderPath, '/', pipeline().parameters.sourceFileName)
  

• 或者如果需要单独指定文件夹路径，将“文件夹路径”设为@pipeline().parameters.sourceFolderPath，“文件名”设为@pipeline().parameters.sourceFileName

4. （可选）动态构造目标路径 #

如果需要将文件复制到对应结构的目标目录，可以拆分触发路径中的年/月/日部分，动态生成目标路径：
比如用表达式从sourceFolderPath中提取日期段：

@split(pipeline().parameters.sourceFolderPath, '/')[3]  // 假设年是路径的第4段，索引从0开始

然后组合成目标路径：

@concat('target/fixed/directory/', split(pipeline().parameters.sourceFolderPath, '/')[3], '/', split(pipeline().parameters.sourceFolderPath, '/')[4], '/', split(pipeline().parameters.sourceFolderPath, '/')[5], '/')

关键注意点 #

• 存储事件触发器仅支持前缀匹配，不支持通配符、正则表达式
• 必须勾选“递归”才能监控根路径下的所有子层级文件夹
• 通过触发器Body传递的folderPath和fileName是触发事件的实际文件路径，确保管道能精准定位到源文件

内容的提问来源于stack exchange，提问作者venus