如何在Azure Data Factory v2中解压.tar.gz文件及解决ADLS Gen2报错

一、解压.tar.gz文件的实现步骤 #

• 在Azure Data Factory中创建复制活动，将SFTP服务器上的.tar.gz文件复制到ADLS Gen2存储账户内
• 选择以下一种方式执行解压：
  • 使用Azure Function：编写Python或Shell脚本，调用tar -xzf命令对ADLS Gen2中的.tar.gz文件执行解压
  • 使用ADF数据流：通过「解压转换（Uncompress transformation）」处理，注意需确认数据流对.tar.gz格式的支持配置正确

二、ADLS Gen2命名规则报错的修复方法 #

报错核心是文件名违反ADLS Gen2命名规范，需检查并修正：

• 文件名不能包含<, >, :, ", /, \, |, ?, *这些字符
• 文件名长度不得超过255个字符
• 文件名不能以.或-结尾，也不能包含连续的.
• 在复制活动中添加文件名映射，用动态内容替换非法字符，示例：

  @replace(replace(item().name, '<', ''), '>', '')
  

  可根据实际存在的非法字符扩展替换逻辑

三、验证流程 #

• 修改文件名规则后重新运行复制活动，确认文件成功同步到ADLS Gen2
• 执行解压操作，检查目标路径下是否生成正常的解压文件夹

内容的提问来源于stack exchange，提问作者user7449410