如何创建可请求多个Http URL的Azure Data Factory数据摄入任务？

1. 配置参数化HTTP源数据集 #

• 创建HTTP类型的源数据集，进入「连接」选项卡，点击URL输入框旁的「添加动态内容」按钮。
• 添加一个数据集参数，命名为VideoNumber，然后用动态表达式拼接URL：

  @concat('你的基础URL前缀', '/video_', dataset().VideoNumber)
  

  示例：若基础前缀为https://example.com/media，则会生成https://example.com/media/video_1这类符合要求的URL

2. 用ForEach活动实现批量循环 #

• 在管道中添加ForEach活动，设置Items属性为编号数组，比如@range(1,4)，这会生成1、2、3三个编号，对应video_1到video_3。
• 在ForEach活动内部嵌入Copy Data任务：
  • 源选择刚才创建的参数化HTTP数据集，在参数赋值区域，将VideoNumber设为@item()，即循环当前的编号值。
  • 按需配置目标数据集（如Blob存储、SQL数据库等）。

3. 灵活调整编号范围 #

如果需要自定义起始和结束编号，可先在管道中定义两个变量（比如StartNum和EndNum），然后将ForEach的Items改为：

@range(variables('StartNum'), variables('EndNum') - variables('StartNum') + 1)

调试与排查 #

• 管道调试时，查看Copy Data任务的输入详情，确认每个迭代的URL是否正确生成。
• 若HTTP请求失败，检查源数据集的HTTP配置：确保请求方法设为GET，认证方式符合目标URL要求。

内容的提问来源于stack exchange，提问作者FireryCoder