如何将Azure Data Factory复制数据输出保存至ADLS Gen2文件
Azure Data Factory Copy Data活动输出保存至ADLS Gen2方案
一、直接保存复制的业务数据到ADLS Gen2(完全可行)
Copy Data活动的核心功能就是跨数据源复制数据,ADLS Gen2是官方支持的目标存储之一,具体操作步骤:
- 配置活动的源数据集:选择你的业务数据源(如SQL Server、Azure Blob Storage等)
- 配置活动的目标数据集:选择
Azure Data Lake Storage Gen2类型,指定目标容器、文件路径,设置输出文件格式(CSV、Parquet、JSON等均可) - 按需配置高级选项:比如文件分块、压缩规则、列映射等,运行管道即可完成数据写入ADLS Gen2的文件中
二、若需保存活动运行元数据(如复制行数、运行状态)的方案
如果你的需求是保存Copy Data活动自身的运行输出(而非业务数据),可通过以下两种方式实现:
- API+Copy Data组合:使用Web活动调用ADF的REST API获取指定管道运行中Copy Data活动的执行详情,将返回的元数据通过Copy Data活动写入ADLS Gen2的文件
- 诊断日志导出:在ADF实例中启用诊断日志,将日志输出目标设置为你的ADLS Gen2存储账户,日志中会包含所有Copy Data活动的运行指标、状态等信息
内容的提问来源于stack exchange,提问作者mkn
相关产品推荐
相关产品推荐

