如何在Blob容器中文件到达时触发Data Factory V2管道？

针对你想要在Blob容器有文件上传时触发Azure Data Factory V2管道的需求，我整理了几种可行的方案，同时也会解答你之前遇到的问题：

1. 原生Blob事件触发（最推荐，实时无轮询） #

这是Azure官方推荐的方案，不需要自己写轮询脚本，当Blob容器中有新文件创建时，会自动触发ADF管道，完全实时。

具体步骤：

• 登录Azure门户，进入你的Blob存储账户，找到事件选项卡
• 点击**+ 事件订阅**，填写订阅名称，选择事件类型为BlobCreated（如果需要检测修改可以选BlobModified）
• 在终结点类型中选择Azure Data Factory，然后选择你的ADF实例和要触发的管道
• 还可以设置筛选器，比如只触发特定前缀/后缀的文件（比如只触发.csv文件），避免无关文件触发管道

这个方案完全替代了轮询逻辑，没有你之前PowerShell遇到的变量缓存问题，效率最高。

2. 改进版PowerShell轮询方案（解决你之前的变量问题） #

你之前的问题大概率是因为脚本中缓存了文件列表变量，导致新上传的文件没被检测到。只要每次检查都重新拉取Blob容器的文件列表，就能解决这个问题。

优化后的脚本思路： #

• 每次执行脚本时，重新获取容器内的所有文件
• 记录已经处理过的文件，避免重复触发管道
• 检测到新文件时，调用Invoke-AzDataFactoryV2Pipeline触发管道

示例代码：

# 配置参数
$resourceGroupName = "你的资源组名称"
$dataFactoryName = "你的ADF实例名称"
$storageAccountName = "你的存储账户名称"
$containerName = "目标Blob容器名称"
$processedFilesLog = "已处理文件记录.txt" # 本地或存储账户中的日志文件

# 获取存储上下文
$storageCtx = (Get-AzStorageAccount -ResourceGroupName $resourceGroupName -Name $storageAccountName).Context

# 读取已处理的文件列表
$processedFiles = @()
if (Test-Path $processedFilesLog) {
    $processedFiles = Get-Content $processedFilesLog
}

# 获取当前容器中的所有文件
$currentFiles = Get-AzStorageBlob -Container $containerName -Context $storageCtx | Select-Object -ExpandProperty Name

# 筛选出未处理的新文件
$newFiles = $currentFiles | Where-Object { $_ -notin $processedFiles }

foreach ($file in $newFiles) {
    Write-Host "检测到新文件：$file，正在触发ADF管道..."
    # 触发ADF管道，可传递文件名作为参数
    Invoke-AzDataFactoryV2Pipeline -ResourceGroupName $resourceGroupName `
        -DataFactoryName $dataFactoryName `
        -PipelineName "你的目标管道名称" `
        -Parameter @{inputFileName = $file}
    
    # 将文件标记为已处理
    Add-Content $processedFilesLog $file
}

部署建议： #

把这个脚本放到Azure Automation Runbook中，设置定期执行计划（比如每5分钟一次），这样不用手动运行脚本，就能自动检测并触发管道。

3. T-SQL + ADF 条件触发方案 #

你提到的用T-SQL返回true/false的思路是可行的，在ADF中可以通过以下步骤实现：

1. Lookup活动：在ADF管道中添加一个Lookup活动，执行你的T-SQL查询（比如检查数据库中是否存在对应Blob文件的记录，或者满足特定业务条件）
2. If Condition活动：添加If Condition活动，使用表达式判断Lookup的结果，比如：

   @equals(activity('Lookup_TSQL').output.firstRow.TriggerResult, true)
   

3. 执行管道：如果条件为true，在If的"True"分支中添加"Execute Pipeline"活动，触发目标管道。

触发方式： #

可以给这个检查管道设置Schedule Trigger（比如每10分钟运行一次），定期检查T-SQL返回的结果，满足条件就触发后续流程。如果是要检测Blob文件，其实Lookup活动也可以直接读取Blob容器的文件列表，不一定依赖T-SQL，不过如果你的业务逻辑需要结合数据库数据，这个方案很合适。

4. Azure Logic Apps 优化方案（解决之前效果不佳的问题） #

你之前用Logic App效果不好，大概率是配置细节没处理好。Logic App其实非常适合做Blob触发的工作流，尤其是需要额外预处理步骤的场景：

正确配置步骤： #

• 创建新的Logic App，选择**When a blob is added or modified (properties only)**触发器，指定你的Blob存储账户和容器
• 在触发器设置中，开启高级选项，设置文件夹路径（如果需要）、文件后缀筛选，并把触发条件设置为@equals(triggerBody()?['IsFolder'], false)（避免触发文件夹创建事件）
• 添加Execute a pipeline动作，选择你的ADF实例和目标管道，传递文件名等参数
• 可选：添加Condition活动，检查文件的大小、ETag等，避免重复触发；添加错误处理动作（比如发送邮件通知）

如果之前遇到重复触发的问题，可以用Blob的ETag作为唯一标识，记录已经处理过的ETag，避免重复执行。

内容的提问来源于stack exchange，提问作者PWilliams