Azure Data Factory映射数据流中REST API分页实现咨询

针对你遇到的REST API分页需求（已知总页数，映射数据流无EndCondition），提供以下3种可行方案：

方案1：LookUp+ForEach循环驱动数据流 #

1. 获取总页数：
   • 添加一个LookUp活动，调用API第一页（https://<baseUrl>/endPoint?per_page=50&page=1），从响应的meta.total_count字段计算总页数，公式为：@ceil(int(activity('LookUp_Meta').output.meta.total_count) / 50)，将结果存入变量TotalPages。
2. 遍历分页调用数据流：
   • 添加ForEach活动，遍历序列@range(1, variables('TotalPages') + 1)（range为左闭右开，需+1确保包含最后一页）。
   • 在ForEach内部调用映射数据流，将当前循环的页码作为参数（比如currentPage）传递给数据流。
3. 数据流配置：
   • REST数据源URL设置为动态参数形式：https://<baseUrl>/endPoint?per_page=50&page={$currentPage}。
   • 用展开（Flatten）、解析（Parse）转换处理嵌套数据，最终输出到缓存存储。

方案2：数据流内递归分页（无需外部活动） #

1. 添加数据流参数：
   • 给映射数据流添加两个参数：currentPage（默认值1）、totalPages（默认值0）。
2. 获取并计算总页数：
   • 源转换调用API：https://<baseUrl>/endPoint?per_page=50&page={$currentPage}。
   • 派生列转换：新增列calcTotalPages，表达式为ceil(meta.total_count / 50)。
   • 聚合转换：用max(calcTotalPages)得到最终总页数，存入列finalTotalPages。
3. 条件分支控制递归：
   • 添加条件分支转换，判断条件为$currentPage <= $finalTotalPages：
     • 分支1（满足条件）：先处理当前页的嵌套数据（展开/解析）并输出到缓存；再添加调用数据流转换，传入参数currentPage = $currentPage + 1、totalPages = $finalTotalPages，递归调用当前数据流。
     • 分支2（不满足条件）：直接结束流程。
   • 注：41页的递归深度在ADF限制范围内，无需担心超限。

方案3：脚本活动生成页码序列 #

1. 脚本计算总页数：
   • 添加PowerShell/Python脚本活动，调用API获取meta.total_count，计算总页数后生成1到总页数的列表，输出到JSON文件或变量。
2. 遍历执行数据流：
   • 用ForEach活动遍历生成的页码列表，每次调用映射数据流并传入当前页码参数，完成单页数据的同步。

额外注意事项 #

• 嵌套数据处理：务必在数据流中用展开转换拆解数组型嵌套字段，或用解析转换提取深层JSON结构，确保数据能正确映射到目标格式。
• 缓存输出：若目标为缓存存储，建议将每页数据追加写入（而非覆盖），后续再通过存储过程统一处理累积的缓存数据。
• 错误重试：在数据流的源转换或ForEach活动中配置重试机制，处理API临时调用失败的情况。

内容的提问来源于stack exchange，提问作者Dmitriy Ryabin