如何在SSIS的Foreach循环容器中枚举Azure File Storage？

好问题！确实，目前Azure Feature Pack for SSIS自带的Foreach Azure Blob Enumerator只支持Blob Storage，没法直接枚举Azure File Storage。不过有几个靠谱的办法能实现这个需求，我给你拆解下：

方案1：PowerShell脚本 + SSIS任务组合 #

这是比较轻量的实现方式，利用PowerShell获取文件列表，再让SSIS读取处理：

• 第一步：写PowerShell脚本枚举Azure File Storage的文件，输出到临时CSV文件。示例脚本如下：

  # 导入Azure模块（未安装的话先运行 Install-Module -Name Az.Storage -Force）
  Import-Module Az.Storage
  
  # 配置存储账户信息
  $storageAccountName = "your-storage-account"
  $storageAccountKey = "your-storage-key"
  $shareName = "your-file-share"
  $outputPath = "C:\Temp\AzureFilesList.csv"
  
  # 创建存储上下文
  $ctx = New-AzStorageContext -StorageAccountName $storageAccountName -StorageAccountKey $storageAccountKey
  
  # 获取文件列表并导出到CSV
  Get-AzStorageFile -ShareName $shareName -Context $ctx | Where-Object { $_.GetType().Name -eq "CloudFile" } | Select-Object Name, Uri | Export-Csv -Path $outputPath -NoTypeInformation
  

• 第二步：在SSIS包中添加Execute PowerShell Task，执行上述脚本。
• 第三步：添加Foreach Loop Container，选择Foreach File Enumerator，指向生成的CSV文件；再在容器内添加任务（比如Data Flow Task）处理每个文件。

方案2：Script Task调用Azure Files SDK #

如果需要更灵活的控制，可以用SSIS的Script Task直接调用Azure.Storage.Files.Shares SDK：

• 第一步：在Script Task的项目中安装Azure.Storage.Files.Shares NuGet包（注意要和SSIS运行环境的.NET版本兼容）。
• 第二步：编写C#代码枚举文件，将文件信息存入SSIS对象变量。示例代码片段：

  using Azure.Storage.Files.Shares;
  using System.Data;
  using Microsoft.SqlServer.Dts.Runtime;
  
  public void Main()
  {
      // 从SSIS变量读取配置参数
      string storageAccountName = Dts.Variables["User::StorageAccountName"].Value.ToString();
      string storageAccountKey = Dts.Variables["User::StorageAccountKey"].Value.ToString();
      string shareName = Dts.Variables["User::ShareName"].Value.ToString();
  
      // 创建Share客户端
      ShareClient share = new ShareClient($"https://{storageAccountName}.file.core.windows.net/{shareName}", storageAccountKey);
      share.CreateIfNotExists();
  
      // 准备DataTable存储文件列表
      DataTable fileTable = new DataTable();
      fileTable.Columns.Add("FileName", typeof(string));
      fileTable.Columns.Add("FileUri", typeof(string));
  
      // 枚举文件（跳过目录）
      foreach (ShareFileItem item in share.GetFilesAndDirectories())
      {
          if (!item.IsDirectory)
          {
              fileTable.Rows.Add(item.Name, item.Uri);
          }
      }
  
      // 将文件列表存入SSIS对象变量
      Dts.Variables["User::AzureFilesList"].Value = fileTable;
      Dts.TaskResult = (int)ScriptResults.Success;
  }
  

• 第三步：添加Foreach Loop Container，选择Foreach ADO Enumerator，绑定到User::AzureFilesList变量，遍历每个文件记录进行处理。

方案3：PolyBase外部表（SQL Server 2019+） #

如果你的SSIS包基于SQL Server 2019及以上版本，可以借助PolyBase读取Azure File Storage的元数据：

• 第一步：在SQL Server中创建外部数据源和外部表，指向Azure File Storage的文件共享。
• 第二步：用SSIS的Execute SQL Task执行查询获取文件列表，将结果存入对象变量。
• 第三步：同样用Foreach ADO Enumerator遍历变量中的文件记录。

注意事项 #

• 确保SSIS运行账户拥有Azure File Storage的访问权限（支持存储账户密钥、SAS令牌或Azure AD身份验证）。
• 使用PowerShell或SDK时，注意依赖组件的版本兼容性，避免出现运行时错误。

内容的提问来源于stack exchange，提问作者Josh D