如何在Azure Data Factory中从单张表导出多个CSV文件

整个流程核心分为维度组合拉取→按维度过滤导出→产物归档三个环节，不需要额外第三方服务，直接用Azure Pipeline内置任务配合SQL命令/PowerShell脚本即可实现。

• 确保Pipeline使用的代理节点已安装SqlServer PowerShell模块，或已配置bcp/sqlcmd命令行工具
• 提前在Pipeline变量组中配置SQL服务器地址、数据库名、账号密码等敏感信息，加密存储避免泄露
• 确认SQL账号对目标表拥有查询权限

• 第一步：拉取全量唯一维度组合
  首先执行SQL查询拿到所有需要拆分的城市、行政区、月份的唯一组合，避免重复导出：
  示例查询语句：

  SELECT DISTINCT 
    city, 
    district, 
    DATEPART(MONTH, 你的日期字段名) AS data_month
  FROM 你的目标表名
  

  查询结果可以直接返回为对象数组供后续遍历使用。

• 第二步：遍历维度组合导出CSV
  直接在Pipeline中添加PowerShell任务，遍历维度组合，每次执行带过滤条件的查询并导出为对应命名的CSV文件，任务配置示例：

  - task: PowerShell@2
    inputs:
      targetType: 'inline'
      script: |
        # 导入SqlServer模块
        Import-Module SqlServer
        # 读取Pipeline加密变量
        $sqlServer = "$(sql_server)"
        $sqlDb = "$(sql_db)"
        $sqlUser = "$(sql_user)"
        $sqlPwd = ConvertTo-SecureString "$(sql_pwd)" -AsPlainText -Force
        $credential = New-Object System.Management.Automation.PSCredential ($sqlUser, $sqlPwd)
  
        # 1. 获取所有维度组合
        $dimQuery = "SELECT DISTINCT city, district, DATEPART(MONTH, 你的日期字段名) AS data_month FROM 你的目标表名"
        $dimList = Invoke-Sqlcmd -ServerInstance $sqlServer -Database $sqlDb -Credential $credential -Query $dimQuery
  
        # 2. 遍历导出各维度数据
        foreach ($dim in $dimList) {
            $city = $dim.city
            $district = $dim.district
            $month = $dim.data_month
            # 生成文件名，可按需调整格式
            $outputPath = "./${city}_${district}_${month}月.csv"
            # 生成带过滤条件的导出查询
            $exportQuery = "SELECT * FROM 你的目标表名 WHERE city = N'$city' AND district = N'$district' AND DATEPART(MONTH, 你的日期字段名) = $month"
            # 导出为CSV，-NoTypeInformation去掉多余的类型头，编码按需调整
            Invoke-Sqlcmd -ServerInstance $sqlServer -Database $sqlDb -Credential $credential -Query $exportQuery | Export-Csv -Path $outputPath -NoTypeInformation -Encoding UTF8
        }
  

  注意：如果维度字段值可能包含特殊字符，建议使用参数化查询替代直接字符串拼接，避免SQL注入和语法错误。

• 第三步：归档导出结果
  添加构建产物发布任务，把所有生成的CSV文件上传到Pipeline中，方便后续下载使用：

  - task: PublishBuildArtifacts@1
    inputs:
      PathtoPublish: '$(Build.SourcesDirectory)'
      Contents: '*.csv'
      ArtifactName: 'split-csv-output'
      publishLocation: 'Container'
  

• 若表数据量较大，可给city、district、日期字段添加联合索引，大幅提升过滤查询速度
• 若需兼容Excel打开CSV，可将导出编码改为UTF8BOM
• 导出前可先清空代理目录的旧CSV文件，避免上一次构建的残留文件被一同归档

内容的提问来源于stack exchange，提问作者oeh