Azure Data Factory遍历20万行超大表ForEach活动10万条上限解决方案问询

Azure Data Factory（或Logic Apps）的ForEach活动单实例最大输入项数确实为10万，属于官方硬限制，无法直接突破，可通过分批次嵌套处理的方案解决20万条记录的遍历需求。

方案1：嵌套双层ForEach分批次处理（最通用，无需修改Azure Function逻辑） #

• 第一步：为源数据生成分组标记
  对存储20万条记录的源表执行查询时，通过窗口函数给数据分配批次号，每批次控制在10万条以内，20万条数据示例SQL如下：

  SELECT *, NTILE(2) OVER(ORDER BY 表ID) AS BatchNum FROM 你的表名
  

• 第二步：外层ForEach遍历批次号
  先查询所有不重复的BatchNum值，作为外层ForEach的输入项（20万条仅需2个批次，远低于10万限制）
• 第三步：内层ForEach遍历单批次数据
  每个批次执行时先筛选当前BatchNum对应的所有表ID，将ID列表作为内层ForEach的输入，遍历调用Azure Function即可。

方案2：批量调用优化（性能更高，推荐优先使用） #

如果你的Azure Function支持接收数组类型参数批量处理ID：

• 分批次逻辑和方案1一致，仅取消内层ForEach
• 每个批次查询到对应ID列表后，直接将ID数组作为参数单次调用Azure Function，由函数侧完成批量处理，可大幅减少接口调用次数，提升工作流执行效率。

额外注意事项 #

• 单ForEach活动设置batchCount参数时，最高并发为50，不会影响10万条的项数限制，该限制仅和输入数组的总长度有关
• 若后续数据量超过百万，可以调整NTILE的参数，按每10万条一个批次拆分即可，不受数据总量限制

内容的提问来源于stack exchange，提问作者kenneth Steve Aguilar