如何在Azure Data Factory数据流接收器中逐行调用Web API

核心思路 #

直接用Azure Data Factory（ADF）数据流处理Parquet数据，通过Web API接收器的逐行配置实现单条数据调用API，全程不用中间存储或数据库。

具体操作步骤 #

1. 数据流数据处理配置 #

• 用Parquet数据源连接数据湖，读取目标文件
• 添加Select转换，筛选出需要传给API的字段，尽量让字段名和API请求参数名对应，减少后续映射工作量

2. Web API接收器关键设置（实现逐行调用） #

在数据流中添加Web API接收器，重点配置以下内容：

• 请求方法：选择API要求的POST/GET等类型
• 请求URL：填写API端点地址，若需动态路径参数，直接用@{<字段名>}引用数据流字段，比如https://api.example.com/users/@{user_id}
• 请求体格式：选择JSON，在映射面板中将数据流字段对应到API请求体的参数上
• 逐行触发设置：找到Batch size选项，设置为1，这样每条数据会单独发起一次API请求；若API有限速限制，在Retry选项中配置重试次数（如3次）和间隔（如5秒），避免请求被限流拒绝

3. 保障管道运行成功的细节处理 #

• 失败重试：在接收器的Retry标签下启用重试，设置合理的次数和间隔，应对API临时不可用的情况
• 错误处理：开启Error row handling，选择继续运行并记录错误行（可写入ADF自带日志，无需额外存储），避免单条数据失败导致整个管道中断
• 字段类型校验：提前对齐数据流输出字段与API参数的类型，比如字符串转数字、调整日期格式匹配API要求，避免因类型不匹配触发报错

配置示例 #

假设API的POST请求体格式如下：

{
  "user_id": "123",
  "user_name": "John",
  "email": "john@example.com"
}

在接收器映射中，直接将数据流的user_id、user_name、email字段分别对应到请求体的同名参数，再将Batch size设为1，即可实现逐行调用。

额外注意事项 #

• 确保ADF集成运行时可访问目标API，若API为私有服务，需配置自托管集成运行时
• API需要认证时，在接收器的Authentication标签下配置对应信息，比如API Key、OAuth2令牌
• 测试阶段先用小批量数据验证映射和调用逻辑，确认无误后再运行全量数据

内容的提问来源于stack exchange，提问作者Developer Rajinikanth