Azure ADLS Gen2复制活动时新文件夹自动生成同名Block blob文件求助

核心原因及修复方案 #

1. 源数据集路径配置错误 #

如果源数据集直接将文件夹路径设为“文件路径”而非文件夹模式，复制活动会误把文件夹识别为文件，在目标生成同名空文件。

• 修复操作：
  • 打开源数据集配置，将路径设置为目标文件夹路径，勾选递归选项，确保覆盖子文件夹及所有文件。
  • 若只需复制JSON文件，用通配符*.json匹配文件夹内的目标文件，不要直接指向文件夹。

2. 复制活动源模式设置不当 #

复制活动的源若选择“复制文件”但未明确文件范围，会额外生成对应文件夹的空文件。

• 修复操作：
  • 在复制活动的源配置中，切换为复制文件夹模式，直接复制完整目录结构。
  • 确认递归选项已开启，保证所有子层级的文件和文件夹都被复制。

3. 目标数据集配置不匹配 #

目标数据集若未正确设置为文件夹接收模式，会将源文件夹解析为单个文件。

• 修复操作：
  • 目标数据集的路径仅设置到目标容器下的文件夹层级，不要添加具体文件名。
  • 确保目标数据集的文件格式与源一致（JSON格式），避免格式不匹配导致异常文件生成。

4. 权限或分层命名空间适配问题 #

ADLS Gen2的分层命名空间（HNS）要求操作账号有足够权限识别文件夹结构，权限不足会导致复制逻辑异常。

• 修复操作：
  • 确保连接ADLS Gen2的服务主体拥有Storage Blob Data Contributor权限，能正常读写文件夹层级。
  • 在复制活动中启用保留分层结构选项，保证源目录结构完整映射到目标。

验证方法 #

修改配置后执行测试复制：

• 检查目标容器下仅生成对应文件夹，且文件夹内包含所有源JSON文件。
• 确认无与文件夹同名的冗余文件生成。

内容的提问来源于stack exchange，提问作者Kallinkeel