Azure Data Factory REST API POST的$skipToken分页解决方案咨询

核心逻辑 #

用ADF的Until活动实现循环，通过变量存储分页标记$skipToken，每次循环动态生成带分页参数的POST请求体，完成数据复制后更新$skipToken，直到标记为空时终止循环。

步骤1：创建流水线变量 #

添加两个变量（按需调整）：

• skipToken：字符串类型，初始值设为空（若API初始需要特定值如0则对应设置）
• totalRecords：整数类型，可选，用于存储总记录数

步骤2：配置Until循环容器 #

设置Until活动的终止条件为：

@equals(variables('skipToken'), '')

若API返回的空标记是null，则改为@equals(variables('skipToken'), null)

步骤3：循环内的活动流程 #

在Until活动中按顺序添加以下活动：

3.1 Copy Data：同步当前页数据

配置Copy Data活动：

• 源：REST数据集，方法选POST，请求体动态嵌入skipToken生成Kusto查询，示例：

  @concat('.execute query <| ', 'YourBaseKustoQuery', ' | skip ', variables('skipToken'), ' | take 1000')
  

  （如果API是通过请求体参数传递$skipToken而非Kusto语句内的skip，则调整请求体结构，比如@json(concat('{"query":"", "$skipToken":"', variables('skipToken'), '"}'))）
  关闭自动分页，避免与自定义逻辑冲突
• 接收器：SQL数据库数据集，目标表设为追加模式，确保数据不被覆盖

3.2 Web活动：获取下一页的skipToken

因为Copy Data不会返回API响应的分页标记，需单独调用API获取：

• 配置Web活动为POST，URL、请求体与Copy Data完全一致
• 从活动输出中提取$skipToken，假设API返回JSON结构如下：

  {
    "totalRecords": 5000,
    "$skipToken": "next-token-123",
    "data": [...]
  }
  

  提取表达式为：@activity('Web_Get_SkipToken').output.$skipToken

3.3 Set Variable：更新分页标记

将skipToken变量的值设为Web活动返回的$skipToken：

@activity('Web_Get_SkipToken').output.$skipToken

（若返回为空，下一次循环会触发终止条件）

额外优化 #

• 首次循环后，可通过Set Variable将totalRecords设为@activity('Web_Get_SkipToken').output.totalRecords，用于监控进度
• 添加Append Variable活动记录每次循环的skipToken和同步条数，便于问题排查

注意事项 #

• 确保REST数据集的认证方式（API Key/OAuth等）与接口要求匹配
• 若$skipToken有有效期，需保证循环速度在有效期内完成
• SQL表结构需与API返回的数据字段完全匹配，避免同步失败

内容的提问来源于stack exchange，提问作者Siddharth