如何将Azure Data Factory管道运行历史及活动记录导出到Excel

完全可以实现，以下是三种可落地的具体实现方式，你可以根据自身使用场景选择：

• 进入目标Azure Data Factory资源页面，点击左侧导航栏的监控选项
• 在监控页切换到「管道运行」标签，按需调整需要导出的时间范围（注：门户查询最长支持获取过去45天的运行记录）
• 点击页面顶部的「导出到 CSV」按钮，等待文件生成后下载到本地，即可直接用Excel打开
• 若需要导出对应管道的活动运行记录，点击对应管道运行条目右侧的「活动运行」按钮，进入活动列表页后重复上述导出操作即可

需要提前安装Azure PowerShell的Az.DataFactory模块，运行以下脚本即可实现导出：

# 登录Azure账户
Connect-AzAccount

# 替换为你自己的配置信息
$subscriptionId = "你的Azure订阅ID"
$resourceGroupName = "ADF所在资源组名称"
$dataFactoryName = "ADF实例名称"
$startTime = "2024-01-01T00:00:00"
$endTime = "2024-06-01T00:00:00"
$pipelineOutputPath = "C:\ADF管道运行记录.csv"
$activityOutputPath = "C:\ADF活动运行记录.csv"

# 切换到目标订阅
Select-AzSubscription -SubscriptionId $subscriptionId

# 获取指定时间范围内的管道运行记录
$pipelineRuns = Get-AzDataFactoryV2PipelineRun -ResourceGroupName $resourceGroupName `
    -DataFactoryName $dataFactoryName `
    -LastUpdatedAfter $startTime `
    -LastUpdatedBefore $endTime

# 导出管道记录到CSV
$pipelineRuns | Export-Csv -Path $pipelineOutputPath -NoTypeInformation -Encoding UTF8

# 循环获取所有管道对应的活动运行记录
$activityRuns = @()
foreach ($run in $pipelineRuns) {
    $activities = Get-AzDataFactoryV2ActivityRun -ResourceGroupName $resourceGroupName `
        -DataFactoryName $dataFactoryName `
        -PipelineRunId $run.PipelineRunId `
        -RunStartedAfter $startTime `
        -RunStartedBefore $endTime
    $activityRuns += $activities
}

# 导出活动记录到CSV
$activityRuns | Export-Csv -Path $activityOutputPath -NoTypeInformation -Encoding UTF8

• 导出的CSV文件默认适配Excel格式，打开后可直接做排序、筛选、统计运行时长等操作

如果已经配置ADF诊断日志同步到Log Analytics工作区，可通过以下方式导出：

• 进入绑定的Log Analytics工作区，打开「日志」查询页
• 运行对应Kusto查询获取所需数据，示例如下：

// 管道运行记录查询示例，可自行调整输出字段
ADFPipelineRun
| where TimeGenerated between(datetime(2024-01-01) .. datetime(2024-06-01))
| project 管道名称=PipelineName, 运行ID=PipelineRunId, 开始时间=StartTime, 结束时间=EndTime, 运行状态=Status, 运行时长(毫秒)=DurationMs

// 活动运行记录查询示例
ADFActivityRun
| where TimeGenerated between(datetime(2024-01-01) .. datetime(2024-06-01))
| project 管道名称=PipelineName, 活动名称=ActivityName, 活动类型=ActivityType, 开始时间=StartTime, 结束时间=EndTime, 运行状态=Status, 运行时长(毫秒)=DurationMs

• 点击查询结果上方的「导出」按钮，选择CSV格式下载后即可用Excel打开

内容的提问来源于stack exchange，提问作者VIGNESH R