如何在本地服务器存入文件时触发Azure Data Factory管道？

以下是几种可行的实现方式，可根据你的场景选择：

方法1：使用ADF文件系统触发器（原生推荐方案） #

• 先在本地服务器部署自托管集成运行时（Self-Hosted Integration Runtime），完成配置后确保ADF能正常连接到本地文件系统。
• 创建文件系统链接服务，通过自托管IR指向目标本地文件夹。
• 在ADF中创建文件系统触发器，关联上述链接服务的文件夹，设置触发条件（比如“文件创建时”），并绑定到需要运行的管道。
• 当有新文件存入本地文件夹时，触发器会自动触发指定的ADF管道。

方法2：本地脚本调用ADF REST API #

• 在本地服务器编写监控脚本（PowerShell、Python等），定时扫描目标文件夹，检测新文件的存入。
• 当检测到新文件时，调用ADF的Create Pipeline Run API触发管道：
  • 先通过Azure服务主体获取访问令牌，采用Azure AD客户端凭证流完成认证。
  • 构造POST请求，示例PowerShell代码片段：

    $token = # 此处填入获取到的Azure AD访问令牌
    $headers = @{
        "Authorization" = "Bearer $token"
        "Content-Type" = "application/json"
    }
    $url = "https://management.azure.com/subscriptions/{你的订阅ID}/resourceGroups/{资源组名}/providers/Microsoft.DataFactory/factories/{ADF工厂名}/pipelines/{目标管道名}/createRun?api-version=2018-06-01"
    Invoke-RestMethod -Uri $url -Method Post -Headers $headers
    

• 可将脚本设置为Windows服务或定时任务，实现持续监控。

方法3：借助Logic Apps+本地数据网关 #

• 在本地服务器部署本地数据网关，配置后让Azure Logic Apps能访问本地文件系统。
• 创建Logic Apps流程：
  1. 添加“当文件添加到文件夹”触发器，通过网关连接指向本地目标文件夹。
  2. 添加“Azure Data Factory - 触发管道”动作，选择目标ADF工厂和需要运行的管道。
• 新文件存入时，Logic Apps触发器会自动触发并调用ADF管道。

内容的提问来源于stack exchange，提问作者Satya Reddy