You need to enable JavaScript to run this app.
优惠活动
大模型
产品
解决方案
定价
更多

如何按Sink资源筛选/查找Azure Data Factory(ADF)管道?

按Sink资源查找ADF关联管道的方法

方法1:利用ADF Studio内置依赖项视图

  • 在ADF Studio中定位到关联SQL表ddd.TABLE的目标数据集
  • 右键点击该数据集,选择查看依赖项
  • 在弹出的依赖面板中切换到被依赖项标签,即可看到所有将此数据集作为Sink的管道及具体活动

方法2:通过ADF REST API查询

  • 先调用API获取工厂内所有管道列表:
    GET https://management.azure.com/subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.DataFactory/factories/{factoryName}/pipelines?api-version=2018-06-01
    
  • 对每个管道,调用详情API获取完整配置:
    GET https://management.azure.com/subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.DataFactory/factories/{factoryName}/pipelines/{pipelineName}?api-version=2018-06-01
    
  • 解析返回的JSON结构,遍历activities节点下的每个活动,检查sink.datasetReference.referenceName是否匹配目标数据集名称

方法3:使用PowerShell脚本批量筛选

编写脚本自动遍历管道并筛选:

$subscriptionId = "你的订阅ID"
$resourceGroupName = "你的资源组名"
$factoryName = "你的ADF工厂名"
$targetDatasetName = "关联ddd.TABLE的数据集名称"

# 登录Azure账号
Connect-AzAccount -Subscription $subscriptionId

# 获取所有管道
$pipelines = Get-AzDataFactoryV2Pipeline -ResourceGroupName $resourceGroupName -DataFactoryName $factoryName

# 筛选关联管道
$relatedPipelines = @()
foreach ($pipeline in $pipelines) {
    $pipelineDetails = Get-AzDataFactoryV2Pipeline -ResourceGroupName $resourceGroupName -DataFactoryName $factoryName -Name $pipeline.Name
    foreach ($activity in $pipelineDetails.Activities) {
        if ($activity.Sink -and $activity.Sink.DatasetReference -and $activity.Sink.DatasetReference.ReferenceName -eq $targetDatasetName) {
            $relatedPipelines += $pipeline.Name
            break
        }
    }
}

# 输出结果
Write-Host "关联目标数据集的管道:"
$relatedPipelines

内容的提问来源于stack exchange,提问作者euh

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.07.27 11:02:18