Azure Data Factory API分页配置问题：避免越界报错

我有一个格式如下的API响应：

{
  "data": [<some data>],
  "metadata": { 
    "page": 1,
    "size": 1000,
    "total": 3128
  }
}

请求URL格式为：{baseurl}/result?page=page
本例中最大页数应为4，页数会根据数据总量动态变化。

在Copy Data活动中，我尝试设置QueryParameter的范围和结束条件，但当API页数越界（比如请求第5页）时，API会返回无效URL，导致复制任务失败。

请问是否有办法启用分页？能否让分页根据size与total的关系自动停止？我需要生成单个输出文件，因此Until/循环不是理想方案。

可以通过Copy Data活动的动态参数配置结合预计算最大有效页数来实现自动停止分页，无需依赖Until循环，同时保证输出单个文件：

1. 预计算最大有效页数

   • 添加一个Lookup活动，请求API的第1页数据，获取返回的metadata.total（总数据量）和metadata.size（单页数据量）。
   • 使用表达式计算最大页数：@ceil(div(activity('Lookup_获取元数据').output.metadata.total, activity('Lookup_获取元数据').output.metadata.size))，本例中计算结果为4。
   • 将计算出的最大页数存入一个整数变量（例如命名为maxPage）。

2. 配置Copy Data活动的分页请求

   • 在Copy Data活动的源配置中选择REST API类型，填写基础URL。
   • 在Query Parameters区域添加page参数，设置参数值为@range(1, variables('maxPage') + 1)。range函数会生成从1到maxPage的整数数组（如[1,2,3,4]），确保只请求有效页数。
   • 无需额外配置“自动分页”规则，因为参数范围已经限定了所有有效请求页。

3. 配置单个输出文件

   • 在Copy Data活动的目标配置中，选择目标存储（如Blob Storage、ADLS Gen2等）。
   • 设置固定的输出文件名（例如full_result.json），并在复制行为中选择合并文件（针对JSON格式，确保选择“追加到文件”或“合并为单个JSON数组”的合并模式，根据需求调整）。

这种方式通过预计算有效页数避免了越界请求，同时利用Copy Data的批量参数请求能力获取所有数据，最终合并为单个输出文件，完全符合需求。

如果API支持在响应中直接提供分页终止信号，也可以尝试在Copy Data的“分页规则”中选择“Next page is in response”，并配置基于metadata.page和maxPage的终止条件，但预计算页数的方式更稳定，能彻底避免越界请求错误。

内容的提问来源于stack exchange，提问作者Fq Lk