Azure Data Factory批量读取CSV中URL并复制到SQL数据库方案咨询

不需要使用GetMetaData活动，核心用Lookup活动读取CSV的行数据，结合ForEach活动批量执行复制任务，具体配置步骤如下：

1. 配置基础数据集 #

• CSV数据集：创建指向存储CSV文件的数据集（如Azure Blob/ADLS Gen2），确保已正确识别唯一ID和URL两列，分隔符、编码等参数与CSV文件匹配。
• REST数据源：创建REST类型的数据集，链接服务根据URL的认证要求配置（匿名、API Key、OAuth等），Base URL暂时留空，后续用动态内容填充。
• Azure SQL数据集：创建指向目标数据库的数据集，提前建好目标表（结构需与URL返回的数据匹配），或开启复制活动的“自动创建表”选项。

2. 添加Lookup活动读取CSV所有行 #

• 在流水线中拖入Lookup活动，将其源设置为上述CSV数据集。
• 取消勾选“First row only”选项，这样Lookup活动的输出会包含CSV的所有行数据，格式为数组，每个元素对应一行的唯一ID和URL值。

3. 配置ForEach活动遍历URL列表 #

• 拖入ForEach活动，将其Items属性设为动态表达式：

  @activity('Lookup活动的名称').output.value
  

• 根据URL接口的并发限制，选择执行模式：
  • 无限制可勾选“Parallel”，设置合适的并发数（如10）提升效率；
  • 接口有并发限制则选“Sequential”。

4. 在ForEach内部配置复制活动 #

• 源端配置：选择REST数据集，将Base URL设为动态表达式：

  @item().URL
  

  （替换URL为CSV中实际的URL列名），根据URL返回的数据格式（如JSON、XML）配置对应的数据格式设置。
• 目标端配置：选择Azure SQL数据集，指定目标表名称；如果需要将唯一ID关联到同步的数据中，可在映射阶段添加派生列，将@item().唯一ID映射到SQL表的对应字段。
• 映射配置：根据URL返回的数据结构与SQL表的列进行字段映射，可使用自动映射（结构一致时）或手动调整映射关系。

5. 可选：错误处理优化 #

• 为复制活动配置重试策略（如失败后重试3次），避免临时网络问题导致任务失败；
• 开启ForEach活动的“错误输出”，将失败的行数据（包含唯一ID和URL）写入到错误日志文件，方便后续排查问题。

内容的提问来源于stack exchange，提问作者Regazzi