如何在ADF中批量传递超5000行SQL数据至Web活动？

理想方案：一次性传递全量数据（若可行） #

如果月度数据转换为JSON后的总大小在目标Web接口的payload限制内（通常ADF Web活动默认限制为10MB，同时需确认目标接口的接收上限），可采用以下步骤：

• 导出数据到ADLS：使用Copy活动将月度数据（按月份参数过滤）导出为单个JSON数组文件（格式为[{}, {}, ...]）存储到Azure Data Lake Storage (ADLS)。
• 通过Azure Function读取并传递：创建Azure Function，由ADF触发后读取ADLS中的JSON文件，包装成{"Data": [...data...]}格式的请求体，再调用目标Web接口。
  • 此方式避开Lookup的5000行限制，实现单次请求传递全量数据。
  • 注意：需为Azure Function配置ADLS访问权限（如Managed Identity），确保能读取文件内容。

备选方案：循环批量传递 #

若全量数据的JSON大小超出接口限制，或无法使用Azure Function，可采用循环批量处理：

1. 获取总行数：使用Lookup活动执行计数查询，如SELECT COUNT(*) AS TotalRows FROM your_table WHERE month = @pipeline().parameters.month，得到月度数据总行数。
2. 计算批次数：设置变量TotalBatches，表达式为@ceil(div(activity('GetRowCount').output.value[0].TotalRows, 5000))，按每批5000行计算总批数。
3. 生成批量数组：创建数组变量BatchNumbers，表达式为@range(0, variables('TotalBatches'))，生成从0到批次数减一的序列。
4. 循环处理每一批：
   • 在For Each活动中遍历BatchNumbers，每次迭代计算偏移量：@mul(item(), 5000)。
   • 使用Lookup活动执行分页查询，如SELECT * FROM your_table WHERE month = @pipeline().parameters.month ORDER BY id OFFSET @variables('Offset') ROWS FETCH NEXT 5000 ROWS ONLY（需确保有可排序的唯一键，如id）。
   • 将当前批数据传递给Web活动，使用原表达式：@json(concat('{"Data":', string(activity('BatchLookup').output.value), '}'))。

方案对比与选择 #

• 优先选一次性传递：若数据量小（JSON payload在接口限制内）且允许使用Azure Function，这是最优方案，减少接口调用次数，简化流程。
• 循环方案更通用：若数据量超大（超出接口payload限制），或无法新增Azure Function服务，循环批量处理更稳妥，完全基于ADF原生功能实现，无需额外服务依赖。

内容的提问来源于stack exchange，提问作者2023hpy