Azure Data Factory复制活动：提取响应头中的下一页分页令牌

我在Azure Data Factory中创建了复制数据活动，通过REST源从API拉取JSON数据写入Azure Blob存储。目标API采用分页机制，下一页链接包含在响应头link中，格式示例：

<https%3A%2F%2FsomeAPI.com%2Fv2%2FgetRequest%3FperPage%3D80%26sortOrder%3DDESCENDING%26nextPageToken%3DVAdjkjklfjjgkl>; rel="next"

尝试过用AbsoluteURL = Headers.link规则，直接使用编码链接导致管道报错；用查询参数方式也未得到预期结果，需要解决：

• 如何从响应头的链接中提取nextPageToken
• 适配该场景的分页规则配置方案

附参考截图：

• Postman响应头输出：
• ADF分页规则配置界面：

分步配置分页规则 #

按以下顺序添加自定义分页规则，逐步解码、提取并赋值token：

1. 解码响应头中的编码链接

   > DecodedLink = @decodeUriComponent(Headers.link)
   

   作用：将URL编码的链接转换为正常可读格式，比如把https%3A%2F%2F转成https://。

2. 筛选出rel="next"对应的链接片段

   > NextLinkPart = @split(DecodedLink, '; rel="next"')[0]
   

   作用：从link头的多个可能片段中，拆分出标记为next的部分。

3. 清理链接的尖括号格式

   > CleanNextLink = @replace(replace(NextLinkPart, '<', ''), '>', '')
   

   作用：去掉链接前后的<>符号，得到纯URL字符串。

4. 拆分出nextPageToken的参数部分

   > TokenPart = @split(CleanNextLink, 'nextPageToken=')[1]
   

   作用：从URL中拆分出nextPageToken=之后的内容。

5. 处理token后可能存在的其他参数

   > nextPageToken = @if(contains(TokenPart, '&'), split(TokenPart, '&')[0], TokenPart)
   

   作用：如果token后面还有其他查询参数，只取到第一个&之前的内容；如果是最后一个参数则直接取全部。

6. 将token赋值给API查询参数

   > QueryParameters.nextPageToken = nextPageToken
   

   作用：把提取到的token传入下一次请求的查询参数中，实现分页迭代。

验证与注意事项 #

• 确保REST源的分页选项已开启，选择「自定义分页规则」
• 调试时可查看复制活动的输出日志，检查每个变量的取值是否符合预期
• 若API的link头格式有细微差异（如分隔符空格不同），需调整split的分隔符内容

内容的提问来源于stack exchange，提问作者Rubin Shah