Azure Data Factory上传至SFTP时压缩包未保留原CSV文件名的问题求助
问题根因
压缩包内部文件被自动重命名为data_.txt的核心原因,是Copy Activity在从ZipDeflate源读取内容、写入SFTP目标的过程中,没有正确透传压缩包内部原文件的元信息(文件名、扩展名),触发了Azure Data Factory对无标识文本流的默认命名规则。这类问题基本来自3类配置偏差:
- 源端配置时,没有将ZipDeflate压缩包本身作为单文件读取源,反而启用了通配符扫描、自定义路径规则,导致ADF把压缩包内的内容当做无文件名标识的原始字节流处理
- 格式数据集绑定时,手动覆盖了内部文件的命名规则,没有保留系统自动携带的原文件名元数据
- 汇端SFTP配置时,强制指定了压缩包内部的输出文件名称,覆盖了数据流中传递的原文件名
分环节调整方案
- 修正源数据集配置
- 将源数据集的连接路径直接指向存储位置上的
PRODDATA20210223.zip完整文件路径,不要使用通配符匹配规则 - 压缩设置项直接选择
ZipDeflate,不要手动在格式设置里指定要读取的内部文件路径 - 如果需要绑定DelimitedText格式做CSV内容校验,不要在数据集属性里手动填写固定的内部输出文件名
- 将源数据集的连接路径直接指向存储位置上的
- 修正SFTP汇端数据集配置
- 将汇端的目标路径直接指定为要落地的
PRODDATA20210223.zip完整路径,压缩类型选择ZipDeflate - 重点注意:关闭汇端设置里的“自定义输出文件名”选项,不要强制指定压缩包内部的文件名称,让数据流自动透传从源端读取到的原始文件元信息
- 将汇端的目标路径直接指定为要落地的
- 校验Copy Activity配置
- 不要在列映射环节之外启用任何文件重命名的转换规则,保持数据流从源到汇的文件元信息全链路透传
调整完成后,可先用小体积的测试压缩包跑一次验证任务,打开SFTP端生成的zip包查看内部文件列表,确认PRODDATA.CSV的文件名、扩展名被完整保留后,再执行正式文件传输任务。
内容的提问来源于stack exchange,提问作者Nathan
相关产品推荐
相关产品推荐

