Azure Data Factory中如何避免复制空文件夹至Blob存储账户且仅在有文件时创建容器

嘿，我来帮你搞定这两个问题！针对复制时跳过空文件夹、以及仅在有文件需要上传时才创建容器的需求，我整理了几种常用工具的实现方案，都是实际工作中常用的：

AzCopy是Azure官方的文件传输工具，对Blob存储的支持非常友好，刚好能完美解决你的两个需求：

• 跳过空文件夹：
  AzCopy默认不会复制空文件夹，但如果你的源目录有嵌套的空文件夹，只需在命令中加上--exclude-empty-directories参数即可彻底跳过。示例命令：

  azcopy copy "C:\your-local-folder\*" "https://<your-storage-account>.blob.core.windows.net/<target-container>?<your-sas-token>" --recursive --exclude-empty-directories
  

  解释：--recursive开启递归复制子目录，--exclude-empty-directories会自动过滤掉所有没有文件的空文件夹。

• 仅在有文件时创建容器：
  AzCopy的逻辑很贴心：如果目标容器不存在，且你有文件要上传，它会自动创建容器；如果源文件夹里全是空的（没有任何文件），它就不会创建空容器。所以结合上面的参数，完全不需要提前手动创建容器，工具会帮你判断。

如果你习惯用Azure CLI，也可以通过命令+简单脚本实现：

• 跳过空文件夹：
  Azure CLI的az storage blob upload-batch命令本身不会上传空文件夹，但为了确保只处理包含文件的目录，你可以用PowerShell脚本先筛选出有文件的子目录，再批量上传：

  # 替换为你的本地路径、存储账户和容器名
  $localFolder = "C:\your-local-folder"
  $storageAccount = "<your-storage-account>"
  $containerName = "<target-container>"
  $accountKey = "<your-storage-account-key>"
  
  # 遍历本地目录，只处理包含文件的文件夹
  Get-ChildItem -Path $localFolder -Recurse -Directory | Where-Object { 
      (Get-ChildItem -Path $_.FullName -File).Count -gt 0 
  } | ForEach-Object {
      az storage blob upload-batch --source $_.FullName --destination $containerName `
          --account-name $storageAccount --auth-mode key --account-key $accountKey
  }
  

• 仅创建有文件的容器：
  和AzCopy一样，az storage blob upload-batch只有在有实际文件要上传时，才会自动创建不存在的容器；如果没有符合条件的文件（比如源目录全是空的），命令不会执行任何操作，容器也不会被创建。

如果你偏好PowerShell的原生模块，也可以直接操作：

• 跳过空文件夹：
  直接遍历所有文件（而非文件夹），这样自然就跳过了空文件夹，同时保持目录结构：

  $storageAccountName = "<your-storage-account>"
  $containerName = "<target-container>"
  $localPath = "C:\your-local-folder"
  $accountKey = "<your-storage-account-key>"
  
  # 获取存储上下文
  $ctx = New-AzStorageContext -StorageAccountName $storageAccountName -StorageAccountKey $accountKey
  
  # 遍历所有文件，保持原目录结构上传
  Get-ChildItem -Path $localPath -Recurse -File | ForEach-Object {
      $blobRelativePath = $_.FullName.Substring($localPath.Length + 1)
      Set-AzStorageBlobContent -File $_.FullName -Blob $blobRelativePath `
          -Container $containerName -Context $ctx -Force
  }
  

• 仅创建有文件的容器：
  Set-AzStorageBlobContent在上传第一个文件时，如果容器不存在，会自动创建；如果没有文件需要上传，整个脚本不会触发任何容器创建操作，完全符合你的要求。

内容的提问来源于stack exchange，提问作者kira_22