Azure Data Factory REST API分页异常：仅加载前142条数据

问题背景 #

配置REST API到Blob存储的复制活动时，仅能加载前142条记录，无法通过响应体中paging.next.link的绝对URL自动拉取后续数据，尝试过在分页设置中选择None并配置$.paging.next.link但无效。

API响应结构示例：

[
  {
    "results": [
      {
        "id": "abc",
        "properties": {
          "createdate": "",
          "domain": "",
          "hs_lastmodifieddate": "",
          "hs_object_id": "",
          "name": "."
        },
        "createdAt": "",
        "updatedAt": "",
        "archived": false
      },
      {
        "id": "xyz",
        "properties": {
          "createdate": "",
          "domain": "",
          "hs_lastmodifieddate": "",
          "hs_object_id": "",
          "name": ""
        },
        "createdAt": "",
        "updatedAt": "",
        "archived": false
      }
    ],
    "paging": {
      "next": {
        "after": "67545677",
        "link": "https://api.abb.com/crm/v3/objects/aaa?limit=100&after=67545677"
      }
    }
  }
]

解决步骤 #

1. 修正JSON路径 #

你的API响应外层是数组结构，paging嵌套在数组的第一个对象中，之前的路径$.paging.next.link无法正确定位，需要调整为：

$[0].paging.next.link

2. 正确配置分页设置 #

• 进入复制活动的源配置面板，找到「分页」选项
• 将「Next page request」类型设置为**"Absolute URL in response body"**
• 在「Next page path」中填入修正后的JSON路径：$[0].paging.next.link

3. 验证与排查 #

• 运行调试，检查复制活动是否自动发起后续页的请求
• 查看ADF监控日志中的复制活动详情，确认next link是否被正确读取并使用
• 手动访问API返回的next link，验证该URL是否能正常返回下一批数据
• 检查API是否有限流规则，避免因请求频率过高导致后续请求被拦截
• 确认复制活动的并行度设置，过高的并行度可能干扰分页逻辑

内容的提问来源于stack exchange，提问作者Chandar