从JSON提取表信息，Azure SQL到Blob Storage数据复制报错求助

一、JSON变量的创建与字段提取 #

首先要确保JSON结构合法，以下是标准示例结构：

{
  "tables": [
    {
      "tableschema": "dbo",
      "tablename": "Customer",
      "targetblobpath": "data/customer/"
    },
    {
      "tableschema": "sales",
      "tablename": "Order",
      "targetblobpath": "data/order/"
    }
  ]
}

按工具类型提取字段： #

• Azure Data Factory（ADF）：

  1. 创建字符串变量存储上述JSON内容，或直接在管道中引入JSON配置。
  2. 使用ForEach活动，将迭代项设置为@json(variables('YourJsonVariableName')).tables。
  3. 在循环内部的活动中，用item().tableschema、item().tablename、item().targetblobpath直接提取对应值。

• PowerShell：
  读取并解析JSON，遍历提取字段：

  # 读取JSON文件（或直接赋值JSON字符串）
  $jsonConfig = Get-Content -Path "C:\config\table-config.json" | ConvertFrom-Json
  # 遍历每个表配置
  foreach ($tableItem in $jsonConfig.tables) {
      $schemaName = $tableItem.tableschema
      $tableName = $tableItem.tablename
      $targetPath = $tableItem.targetblobpath
      # 后续复制逻辑写在这里
  }
  

二、Azure SQL到Blob的数据复制配置 #

核心步骤（以ADF为例）： #

1. 数据源设置：

   • 选择Azure SQL数据库作为数据源，连接配置正确的SQL账户。
   • 在“查询”框中使用动态内容拼接查询语句：

     SELECT * FROM [@{item().tableschema}].[@{item().tablename}]
     

   （方括号用于兼容含特殊字符的schema/表名）

2. 目标Blob设置：

   • 选择Azure Blob存储作为目标，指定存储账户和容器。
   • 设置“文件路径”为动态内容：@{item().targetblobpath}@{item().tablename}_@{utcNow('yyyyMMddHHmmss')}.csv
     （添加时间戳避免文件覆盖）
   • 选择合适的文件格式（CSV/Parquet等），配置分隔符、编码等参数。

3. 复制活动配置：

   • 确保复制活动的数据源和目标分别指向上述配置的数据集。
   • 若需批量复制，确保ForEach活动的并行度设置合理（避免SQL或存储过载）。

PowerShell实现方式： #

使用Invoke-SqlCmd读取SQL数据，再导出到Blob：

# 加载Azure模块
Import-Module Az.Storage

# SQL连接参数
$sqlServer = "your-sql-server.database.windows.net"
$sqlDatabase = "your-db"
$sqlUser = "sql-username"
$sqlPass = ConvertTo-SecureString "sql-password" -AsPlainText -Force
$sqlCred = New-Object System.Management.Automation.PSCredential ($sqlUser, $sqlPass)

# Blob存储参数
$storageAccount = "your-storage-account"
$storageKey = "your-storage-key"
$containerName = "target-container"

# 遍历表配置
foreach ($tableItem in $jsonConfig.tables) {
    $schema = $tableItem.tableschema
    $table = $tableItem.tablename
    $blobPath = $tableItem.targetblobpath

    # 读取SQL数据
    $query = "SELECT * FROM [$schema].[$table]"
    $data = Invoke-SqlCmd -ServerInstance $sqlServer -Database $sqlDatabase -Credential $sqlCred -Query $query

    # 导出为CSV临时文件
    $tempCsv = "C:\temp\$table.csv"
    $data | Export-Csv -Path $tempCsv -NoTypeInformation -Encoding UTF8

    # 上传到Blob存储
    $context = New-AzStorageContext -StorageAccountName $storageAccount -StorageAccountKey $storageKey
    Set-AzStorageBlobContent -Context $context -Container $containerName -File $tempCsv -Blob "$blobPath$table.csv"

    # 删除临时文件
    Remove-Item $tempCsv
}

三、常见错误排查 #

• JSON解析失败：检查JSON是否有语法错误（如多余逗号、未闭合引号），可用在线JSON校验工具验证。
• 动态内容引用错误（ADF）：确认ForEach的迭代项是JSON中的tables数组，而非整个JSON对象。
• SQL查询报错：检查schema和表名的拼接是否正确，特殊字符必须用方括号包裹。
• Blob路径无效：避免路径开头加斜杠，确保存储容器已存在，且账户有写入权限。

内容的提问来源于stack exchange，提问作者Giusy