Azure Data Factory中REST API分页配置问题咨询

核心实现步骤 #

1. 配置REST源数据集

创建REST类型的源数据集，完成基础配置：

• 填写目标API的端点URL
• 配置认证方式（如OAuth、API Key等）
• 在请求头中添加分页所需的字段（比如X-Pagination-Cursor），暂时留空，后续用动态表达式填充

2. 复制活动中配置分页规则

打开复制活动的源选项卡，找到分页设置区域：

• 选择分页规则为「自定义」
• 设置终止条件为动态表达式，用来判断何时停止分页：

  @empty(activity('<你的复制活动名称>').output.response.body.PaginationCursor)
  

  当响应体中PaginationCursor为空时，自动终止分页循环

3. 动态填充请求头的Cursor值

回到REST数据集的请求头配置，给分页字段设置动态表达式：

@if(equals(activity('<你的复制活动名称>').iteration, 1), '', activity('<你的复制活动名称>').output.response.body.PaginationCursor)

• 逻辑说明：第一次请求（iteration=1）时，使用空值或API要求的初始Cursor值；后续迭代自动读取上一次响应体中的PaginationCursor并放入请求头

4. 关键注意事项

• 务必将复制活动的并行度设为1，因为分页是串行依赖的，并行请求会导致Cursor传递混乱
• 如果PaginationCursor在响应体的嵌套结构中（比如response.body.meta.cursor），需要调整表达式中的路径，匹配实际返回结构
• 若API要求第一次请求必须传特定初始值（比如start），把表达式中的空值替换为对应初始值即可

测试验证 #

运行管道后，查看复制活动的迭代日志，确认每一次请求的请求头都正确带上了上一次响应返回的PaginationCursor，且当Cursor为空时自动停止迭代。

内容的提问来源于stack exchange，提问作者Matt