Azure Data Factory V2复制活动完成后未清理暂存文件/容器，请求指导

问题定性 #

不一定是产品bug，先排查以下常见场景：

1. 复制任务存在隐性失败 #

• 检查Copy Activity的运行日志，确认是否存在未被标记为失败的隐性错误（比如Snowflake侧的元数据校验失败、部分数据加载异常）。即使ADF显示"成功"，若Snowflake的COPY INTO操作未完全完成，ADF可能不会触发清理逻辑。
• 查询Snowflake的COPY_HISTORY视图，验证数据是否完全加载成功。

2. 权限配置不足 #

• 确保ADF使用的服务主体/托管标识对暂存存储账户拥有容器级删除权限（需包含Delete、Delete Blob、Delete Container权限，可通过Storage Blob Data Contributor角色或自定义权限实现）。
• 若使用SAS令牌，需确保SAS参数包含Delete权限（权限标识为d）。

3. 暂存区配置异常 #

• 确认暂存区是配置在Copy Activity的Sink端，而非Source端或其他错误位置。
• 检查是否误开启了Copy Activity中的**"保留临时文件"**选项，该选项会强制跳过清理步骤。

4. 突发异常中断清理流程 #

• 复制过程中若出现网络中断、ADF运行节点异常等情况，可能导致清理逻辑未被触发。
• 大文件批量复制场景下，若Snowflake侧文件处理超时，ADF可能无法收到明确的成功信号，从而不执行清理。

解决方案 #

临时手动清理

• 使用Azure CLI批量删除残留GUID容器：

  az storage container delete --account-name <your-storage-account> --name <container-guid> --auth-mode login
  

• 用PowerShell批量清理符合GUID格式的容器：

  $storageAccountName = "<your-storage-account>"
  $storageContext = (Get-AzStorageAccount -Name $storageAccountName).Context
  $containers = Get-AzStorageContainer -Context $storageContext
  foreach ($container in $containers) {
      if ($container.Name -match '^[0-9a-f]{8}-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{4}-[0-9a-f]{12}$') {
          Remove-AzStorageContainer -Name $container.Name -Context $storageContext -Force
      }
  }
  

自动清理优化

• 在Copy Activity后添加Azure Function/Logic App，通过ADF成功触发器触发，调用存储API清理残留容器。
• 配置存储账户生命周期管理规则：设置筛选条件为容器名称匹配GUID正则，添加"创建后24小时自动删除"的规则。

根因定位与修复

• 开启ADF详细日志，查看Copy Activity清理阶段的日志输出，确认是否有权限错误或清理失败的明确提示。
• 若排查后确认为产品问题，联系微软支持并提供ADF运行ID、存储账户日志、Snowflake COPY历史记录，协助定位修复。

内容的提问来源于stack exchange，提问作者Bilal Shafqat