ADF Copy Data活动中基于Continuation Token的GET请求分页实现问题

问题背景 #

我在Azure Data Factory（ADF）中构建ETL管道从API加载数据，卡在了基于continuation token的分页实现上。按照Azure文档，应该采用「下一次请求的请求头=当前响应体中的属性值」的方式实现分页。

期望实现的流程：

• 用Web activity向https://test.net/abc/tableName?size=1000发送GET请求，从响应体中获取continuation token作为输出；
• 通过Set Variable activity将该token存储为变量；
• 用Copy activity向https://test.net/abc/tableName?size=1000&seekOperation=Next发送GET请求，请求头携带上述token变量；持续发送请求直到响应体中不存在continuation token，每次请求都用新获取的token更新请求头。

当前配置与错误信息 #

我尝试配置的分页规则：

"paginationRules": {
    "supportRFC5988": "true",
    "Headers.ContinuationToken": {
        "value": "$.continuationToken",
        "type": "Expression"
    },
    "EndCondition:body.continuationToken": "NonExist"
}

收到的错误：

Failure happened on 'Source' side.
ErrorCode=RestInvalidPaginationRule,'Type=Microsoft.DataTransfer.Common.Shared.HybridDeliveryException,Message=Invalid
PaginationRule, RuleKey='body.continuationToken',
RuleValue='NonExist',Source=Microsoft.DataTransfer.ClientLibrary,'

另外的困惑：不知道如何让Copy activity首次请求使用存储的变量值，之后从自身响应体获取token完成迭代。已在附加请求头中添加Token: @variables('continuationToken')，但迭代逻辑无法正常运行。当前管道结构如图：

解决方案 #

1. 修正分页规则错误 #

ADF分页规则中，EndCondition的正确格式是指定属性的JSON路径，终止条件值应为Null而非NonExist；同时supportRFC5988是针对RFC5988标准的Link头分页，本次场景不需要，应移除。修正后的分页规则：

"paginationRules": {
    "Headers.ContinuationToken": {
        "value": "$.continuationToken",
        "type": "Expression"
    },
    "EndCondition:$.continuationToken": "Null"
}

注：$.continuationToken需与API响应体中token的实际JSON路径一致，若结构不同需自行调整。

2. 实现Copy Activity的首次请求与迭代逻辑 #

• 首次请求的token传递：在Copy activity的REST源附加请求头中，添加与API要求匹配的头字段（比如ContinuationToken: @variables('continuationToken')，注意替换为API实际期望的头名称，而非你之前写的Token）。
• 自动迭代处理：配置正确的分页规则后，Copy activity会自动完成迭代：每次请求后从响应体提取$.continuationToken的值，自动注入下一次请求的请求头中，直到响应体中该字段为Null，触发终止条件停止分页。
• 管道结构优化（可选）：若API首次请求不需要token，可移除单独的Web Activity和Set Variable步骤，直接将变量初始值设为空，用表达式处理请求头：ContinuationToken: @if(empty(variables('continuationToken')), '', variables('continuationToken'))，让Copy activity自行完成首次请求和后续分页。

3. 验证步骤 #

• 测试单个Copy activity请求，确认首次请求能正确携带初始token；
• 检查响应体中的continuation token是否被正确提取并用于下一次请求；
• 确认当响应体中无token时，分页自动停止。

内容的提问来源于stack exchange，提问作者db_dora_1234