Data Factory中是否存在无需读取文件即可直接移动文件的活动?
Azure Data Factory 无需读取内容直接移动CSV文件的实现方案
你可以通过ADF自带的二进制复制能力实现无内容读取的文件移动操作,全程不会解析文件内容,大数量文件场景下效率远高于常规带格式解析的复制活动,具体配置如下:
方案1:复制活动+移动配置(最易用,适配所有存储类型)
- 新建复制数据活动,进入「源」配置页:
- 源数据集选择对应的源存储路径,文件格式选择
二进制格式 - 文件筛选规则设置为仅匹配后缀为
.csv的文件,可勾选保留源文件层次结构适配你的目录结构
- 源数据集选择对应的源存储路径,文件格式选择
- 进入「接收器」配置页:
- 接收器数据集选择目标存储的目标路径,同样使用
二进制格式即可
- 接收器数据集选择目标存储的目标路径,同样使用
- 进入「设置」配置页:
- 在「复制后操作」下拉选项中选择
删除源文件,该配置组合的效果等价于原生移动操作:ADF会调用存储端原生能力完成文件转移,不会拉取、读取任何文件内容。
- 在「复制后操作」下拉选项中选择
方案2:存储API直接调用(性能最优,适配同存储账户内移动)
如果你的源路径和目标路径属于同一个存储账户(如ADLS Gen2、Azure Blob),可以直接通过ADF的Web活动调用存储服务的批量移动REST API,所有文件操作完全在存储端内部完成,适合十万级以上文件量的超大规模场景。
配套逻辑补充
你可以搭配Get Metadata活动前置判断源路径下是否存在符合规则的CSV文件,判断为存在时再触发移动操作,避免活动空跑报错。
你的数据源结构参考:
内容的提问来源于stack exchange,提问作者Sarah
相关产品推荐
相关产品推荐

