在ADF中循环调用分页API直至无记录并合并输出至Blob

核心问题排查（之前Until未循环的常见原因） #

• 终止条件设置错误：未正确判断API返回数据是否为空，或表达式逻辑有误
• Offset变量未递增：循环内未执行变量更新操作，或更新表达式写错
• 数据判断路径错误：未匹配到API返回数据数组的实际字段路径

实现步骤与所需活动 #

1. 初始化管道变量 #

添加Variables活动，创建两个变量：

• currentOffset：整数类型，初始值0，记录当前分页偏移量
• isDataAvailable：布尔类型，初始值true，控制循环终止逻辑

2. 配置Until循环活动 #

设置Until的终止条件为：@equals(variables('isDataAvailable'), false)，即无数据返回时停止循环。

3. Until内部活动流程（按顺序执行） #

(1) Web活动：调用分页API

• 请求方法：POST
• URL：https://api.<application_name>.com/api/v1/search/users
• 请求体：用动态表达式替换offset值，示例表达式：

@json(concat('{
  "terms": [
    {
      "type": "parent_account",
      "terms": [
        {
          "type": "string",
          "term": "status_group",
          "in_list": ["paying"]
        }
      ]
    }
  ],
  "count": 1000,
  "offset": ', variables('currentOffset'), ',
  "fields": [
    {
      "type": "date",
      "term": "last_activity_time",
      "field_display_name": "Last activity",
      "desc": true
    },
    {
      "type": "named_aggregation",
      "aggregation": "total_activities",
      "duration": 14,
      "field_display_name": "Activities (14d)"
    }
  ],
  "scope": "all"
}'))

• 注意：需根据API实际返回结构，启用响应内容为JSON格式的解析

(2) Set Variable活动：更新数据可用性状态

将isDataAvailable变量值设为：@not(empty(activity('Web活动名称').output.value))

• 替换Web活动名称为实际活动名
• 替换output.value为API返回数据数组的真实路径（比如返回为{"data": []}则改为output.data）

(3) If Condition活动：判断是否存储数据

设置条件为@variables('isDataAvailable')，仅当有数据时执行内部操作：

• 内部添加Copy Data活动：
  • 源：选择Web活动作为数据源，路径指向输出数组（如@activity('Web活动名称').output.value）
  • 目标：Blob存储数据集，文件路径设为临时位置，比如temp/temp_users_@{variables('currentOffset')}.json，保证每个分页文件唯一

(4) Set Variable活动：递增偏移量

将currentOffset变量值设为：@add(variables('currentOffset'), 1000)

4. 循环结束后合并临时文件 #

在Until活动后添加Copy Data活动：

• 源：Blob存储数据集，用通配符匹配所有临时文件，比如temp/temp_users_*.json
• 目标：Blob存储数据集，设置最终文件路径（如final/all_users.json）
• 源配置：选择JSON格式，启用合并文件选项，将所有临时文件的数组合并为一个大数组

5. 可选：清理临时文件 #

添加Delete活动，选择Blob存储数据集，路径设为temp/temp_users_*.json，删除所有临时文件

关键注意事项 #

• 20万条数据量较大，避免用数组变量存储全量数据，会触发内存溢出，用临时文件存储再合并更稳妥
• 若API返回总记录数，也可通过ceil(total/1000)计算循环次数，但判断返回数据为空的方式更可靠
• 给Web活动添加重试策略，处理API调用失败的情况

内容的提问来源于stack exchange，提问作者Nilesh Patel