Data Factory中REST API分页规则配置求助

针对这种没有返回Next URL、仅支持skip/take参数分页的REST API，完全可以通过ADF的管道自迭代+条件判断实现自动分页，不用硬编码超大take值，具体步骤如下：

1. 配置带参数的REST数据集 #

打开你的REST数据集，在相对URL中把skip和take设置为动态参数，写法如下：

?skip=@pipeline().parameters.skip&take=@pipeline().parameters.take

这样每次调用数据集时，都会从管道接收这两个参数的动态值。

2. 给管道添加分页参数 #

在管道的参数面板里，新增两个整数类型参数：

• skip：默认值设为0（初始跳过0条记录）
• take：默认值设为5000（你能一次获取的最大记录数）

3. 配置复制活动 #

添加一个复制活动，源选择刚才配置的REST数据集，在数据集参数绑定里：

• skip绑定到管道参数@pipeline().parameters.skip
• take绑定到管道参数@pipeline().parameters.take
  目标端选择你要存储数据的位置（比如Blob存储、ADLS），记得把写入模式设为追加，确保每次分页的数据都会追加到目标文件/表，不会覆盖之前的结果。

4. 加条件判断控制分页循环 #

在复制活动后面添加一个条件分支活动，判断逻辑：如果本次复制的记录数等于take参数值，说明还有更多数据需要拉取，否则停止分页。
判断表达式分两种场景：

• 如果复制活动的rowsCopied能准确返回本次获取的记录数，用这个：

@equals(activity('你的复制活动名称').output.rowsCopied, pipeline().parameters.take)

• 如果rowsCopied不准，就直接取响应体里的记录数组长度（比如API返回{"data": [xxx]}结构），用这个：

@equals(length(activity('你的复制活动名称').output.response.data), pipeline().parameters.take)

5. 自迭代实现循环分页 #

在条件分支的True分支里，添加一个执行管道活动，选择当前管道作为目标管道，传递参数：

• skip设为@add(pipeline().parameters.skip, pipeline().parameters.take)（跳过已经获取的记录数）
• take保持@pipeline().parameters.take不变
  条件分支的False分支留空，流程自动结束。

注意事项 #

• 如果API有请求频率限制，记得在执行管道活动前加一个等待活动，设置合适的等待时间（比如10秒），避免被限流
• 测试时可以先把take设小一点（比如100），验证循环逻辑正常后再改回5000

内容的提问来源于stack exchange，提问作者ALdo