Azure Data Factory参数化二进制数据集复制SFTP文件夹内容失败
Azure Data Factory 参数化SFTP目录复制问题解决
场景说明
- 在Azure Data Factory中,需从SFTP源复制按年->月->日->文件层级存储的数据
- 已配置SFTP链接服务和二进制数据集,手动指定文件夹路径
2015时,可正常复制整个文件夹的所有层级内容
问题现象
- 通过复制活动传入参数化目录路径时,目标Azure Data Lake Storage Gen2中仅生成一个无数据的
2015文件,无法复制文件夹内的子层级及文件 - 尝试过手动写入参数路径、使用变量存储路径、动态拼接路径等多种方式,均未解决该问题
- 临时采用嵌套Get Metadata活动循环逐个复制文件的方案,但期望通过单个二进制数据集实现整文件夹的批量复制
解决方法
排查后发现问题根源是参数末尾存在隐藏的换行符,使用concat()函数处理参数化路径后,参数化目录复制功能恢复正常,可直接通过单个二进制数据集完成整文件夹层级的复制操作。
内容的提问来源于stack exchange,提问作者Necropants
相关产品推荐
相关产品推荐

