Azure Data Factory中REST API数据复制分页问题求助

基于page_index/total_pages参数的REST API全量数据复制配置 #

针对你的场景（API仅返回item_per_page、page_index、total_pages、total_items参数，无after类分页链接），可以通过以下配置实现全量数据同步：

• 1. 初始化请求参数
  在REST API的请求参数里，设置初始page_index=1，item_per_page=20（和API默认每页条数保持一致）。

• 2. 配置分页递增规则
  在分页设置中选择页码递增模式，指定page_index作为分页参数，每次请求后自动将该参数值加1。

• 3. 设置终止条件
  从API响应中提取total_pages值，配置终止判断逻辑：当当前请求的page_index等于total_pages时，停止分页请求。
  以JSON响应为例，若响应结构如下：

  {
    "data": [...],
    "item_per_page": 20,
    "page_index": 1,
    "total_pages": 36,
    "total_items": 720
  }
  

  终止条件表达式可写为：@equals(activity('REST_API').output.page_index, activity('REST_API').output.total_pages)

• 4. 额外校验（可选）
  若担心total_pages动态变化，可基于total_items计算总页数（总页数 = 向上取整(total_items / item_per_page)），用计算出的总页数作为终止判断依据，避免因同步过程中数据新增导致漏拉。

内容的提问来源于stack exchange，提问作者Abhishek Singh