如何追踪Azure Data Factory Copy Activity的源与目标位置信息?
如何追踪ADF复制活动的源与目标具体位置
针对Azure Data Factory(ADF)复制活动执行结果不显示源/目标具体文件路径或存储位置的问题,可通过以下几种方式解决:
1. 启用复制活动详细日志
默认日志仅包含基础执行指标,需开启详细日志获取文件级位置信息:
- 编辑目标复制活动,切换到日志标签页
- 勾选「启用详细日志」,并指定用于存储日志的Azure存储账户及容器
- 执行活动后,日志文件会生成在指定存储容器的
copyactivity-logs/[日期分区]路径下,日志中会明确记录每个读取的源文件路径和写入的目标文件路径。
2. 关联数据集配置获取静态/参数化路径
复制活动的源与目标位置由关联的数据集定义:
- 静态配置场景:直接打开复制活动关联的源/目标数据集,即可查看存储账户名称、容器、文件夹/文件路径等完整位置信息
- 参数化场景:若数据集使用参数(如容器名、路径通过管道参数传入),可在ADF监视器的管道运行详情中查看「输入参数」,获取运行时实际使用的路径参数值;也可在管道中添加
Set Variable活动,将参数值(如@pipeline().parameters.sourceFolder)留存,方便后续追溯。
3. 通过Azure Purview查看数据血统
从执行输出可见reportLineageToPurview状态为成功,说明数据血统已同步至Purview:
- 登录Azure Purview门户,定位到对应的数据源
- 通过「数据血统」功能,可查看复制活动对应的源与目标的完整路径链路,Purview会自动记录详细的位置信息。
补充说明
若你需要在Log Analytics中直接查询路径信息,需确保已将ADF诊断日志发送至Log Analytics,且启用了复制活动的详细日志,之后可通过KQL查询详细日志表中的文件路径字段。
内容的提问来源于stack exchange,提问作者zhiyu zhang
相关产品推荐
相关产品推荐

