如何在Azure Logic Apps中实现SQL存储过程生成JSON的分页/拆分以适配ADF的4MB文件大小限制

嗨，这个场景我接触过不少，结合Azure Logic Apps和SQL的特性，有几个实用的方案可以解决这个4MB文件大小限制的问题，咱们一步步拆解来看：

方案一：修改SQL存储过程实现分页生成JSON #

这是最直接的源头控制方式，从生成JSON的环节就把数据切成小块：

• 给你的SQL存储过程添加分页参数：比如@PageNumber INT（当前页码）和@PageSize INT（每页行数），用SQL的OFFSET/FETCH语法实现分页查询，再生成对应页的JSON。示例代码如下：

CREATE OR ALTER PROCEDURE YourGenerateJsonProc
    @PageNumber INT,
    @PageSize INT
AS
BEGIN
    SELECT * FROM YourTargetTable
    ORDER BY YourSortColumn -- 必须指定排序字段保证分页顺序稳定
    OFFSET (@PageNumber - 1) * @PageSize ROWS
    FETCH NEXT @PageSize ROWS ONLY
    FOR JSON AUTO, WITHOUT_ARRAY_WRAPPER; -- 按需调整JSON生成选项
END

• 在Logic App中配合循环实现全量数据导出：先执行一个查询获取总记录数，计算出总页数（总页数 = CEILING(总记录数 / 每页行数)），然后用Until循环或者For Each循环（如果总页数可提前确定），依次传入不同页码调用存储过程，每次生成一个独立的小JSON文件，确保单个文件大小低于4MB。

方案二：在Logic App中拆分已生成的完整JSON #

如果不想修改存储过程，可以在Logic App里对生成的大JSON做后期拆分：

• 先用Parse JSON动作解析完整的大JSON，把它转换成Logic App可操作的数组对象。
• 接着用splitArray()表达式或者自定义逻辑拆分数组：比如估算每条JSON记录的平均大小，计算出每个子数组的最大元素数，然后拆分出多个子数组。示例表达式（假设每个子数组最多包含1000条记录）：

splitArray(body('Parse_JSON'), 1000)

• 最后遍历每个子数组，用Compose动作把它重新转换成JSON字符串，再生成对应的小文件，这样每个文件就能轻松控制在4MB以内。

方案三：适配超大规模数据的Blob分块处理（可选） #

如果数据量特别大（比如生成的JSON远超几十MB），可以结合Azure Blob Storage的分块能力：

• 让Logic App先把完整的大JSON上传到Blob Storage（启用分块上传），然后再用Logic App或者Azure Function把Blob里的大JSON拆分成多个小Blob文件，最后让ADF逐个处理这些小文件。不过这个方案适合极端场景，前面两个方案更轻量直接。

关键注意事项 #

• 提前测试每页/每个子数组的文件大小：根据你的数据结构（比如是否包含大文本字段）调整每页行数或子数组大小，确保最终生成的单个文件严格低于4MB。
• 调整Logic App循环限制：默认循环次数上限是100次，如果总页数超过这个值，需要在循环设置里修改“最大循环次数”。

备注：内容来源于stack exchange，提问作者Atul