如何用Synapse/ADF Pipeline遍历全量数据库记录调用REST API及存储过程？

方案1：用Until Activity实现分页循环（无需子管道） #

不用拆分到子管道，直接在单个管道里用Until Activity处理分页逻辑，把所有流程整合在一起：

• 先初始化两个变量：currentSkip（初始值0）、pageSize（固定设为5000）
• 配置Until Activity的终止条件：@greaterOrEquals(variables('currentSkip'), 120000)
• Until内部按以下顺序配置活动：
  1. Lookup Activity：执行带分页的查询，比如 SELECT * FROM 源表 ORDER BY id OFFSET @currentSkip ROWS FETCH NEXT @pageSize ROWS ONLY，用变量传递currentSkip和pageSize参数
  2. For Each Activity：遍历Lookup返回的单页数据，开启并行处理（并行度根据API限流情况设为10-20），每次迭代里依次调用Web Activity（触发REST API）和存储过程活动
  3. Set Variable Activity：更新currentSkip的值为 @add(variables('currentSkip'), variables('pageSize'))

这个方案把分页和单页处理逻辑集中在一个管道，省去了子管道的繁琐配置。

方案2：用Azure Function接管批量处理逻辑 #

把数据读取、API调用、存储过程执行的核心逻辑转移到Azure Function里，ADF只做触发操作：

• 在Function里编写代码，用ADO.NET或EF Core分页读取源表数据
• 对每条记录异步调用REST API并执行存储过程，可通过并行任务提升效率（注意控制并发数避免触发API限流）
• ADF中用Azure Function Activity触发该Function，传递源表名称、API地址等必要参数

这种方式把复杂的循环逻辑从低代码的ADF转移到代码层面，管道结构极简，且代码能更灵活处理重试、错误日志等细节。

方案3：优先使用批量API（若支持） #

如果你的REST API支持批量请求（一次提交多条记录参数），能大幅减少调用次数：

• 每次从源表读取5000条记录，组装成批量API要求的请求格式
• 调用一次批量API，拿到返回结果后，用表值参数批量执行存储过程

这个方案能把12万次API调用压缩到24次，效率提升显著，前提是API支持批量操作。

内容的提问来源于stack exchange，提问作者user1060500