Azure Data Factory ForEach循环内数组合并传递问题咨询

Azure Data Factory的Append Variable活动原生不支持将Array类型值直接追加到Array类型变量中，仅支持追加单值类型（Float、Integer、String、Boolean、Object），直接把Databricks活动输出的整个数组作为追加值，就会触发你遇到的类型校验报错。

你可以根据自己的管道配置选以下任意一种方案，最终都能得到打散所有元素的一维数组，传给ForEach2逐一遍历：

方案1：内层循环逐元素追加（适配低版本ADF，逻辑直观） #

• 先在管道作用域初始化两个Array类型变量：TempCollectedArray（默认值设为[]）、FinalMergedArray（默认值设为[]）
• 选中ForEach1，勾选配置项里的Sequential（顺序执行），避免并行迭代修改变量触发竞态问题
• 在ForEach1内部，每个Databricks活动的下游新增一个内层ForEach循环，将内层循环的遍历项配置为当前Databricks活动输出的数组，示例值：@activity('你的Databricks活动名称').output.runOutput.你的数组字段名（替换成你实际的活动名和数组输出路径）
• 在内层ForEach中添加Append Variable活动，选择追加到TempCollectedArray变量，追加值填@item()，也就是把Databricks输出数组里的单个元素逐个追加，而非直接追加整个数组
• 等ForEach1全部执行完成后，添加一个Set Variable活动，将FinalMergedArray的值设置为@variables('TempCollectedArray')，直接把这个变量传给ForEach2的Items配置项即可。

方案2：表达式直接扁平化合并（性能更优，支持ForEach1并行执行） #

不需要在ForEach1内加任何变量操作或者内层循环，直接在ForEach1下游加一个Set Variable活动即可：

• 提前初始化Array类型变量FinalMergedArray，默认值[]
• 在ForEach1下游添加Set Variable活动，目标变量选FinalMergedArray，值配置为如下表达式（替换成你实际的ForEach1名称、Databricks活动名称、数组输出字段路径）：

@flatten(
  select(
    activity('ForEach1').output.iterations,
    iteration -> iteration.activityRuns['你的Databricks活动名称'].output.runOutput.你的数组字段名
  )
)

• 表达式逻辑：select会先提取ForEach1每一轮迭代中Databricks活动输出的数组，组成「数组的数组」二维结构，再通过flatten函数直接把二维结构拍平成一维数组，所有原数组的元素都会成为独立项，直接传给ForEach2遍历即可。

• 方案1必须开启ForEach1的顺序执行，否则并行场景下变量读写会出现数据错乱、元素缺失问题
• 方案2不需要修改ForEach1的执行配置，支持并行跑Databricks活动，大数量级下性能远高于嵌套循环方案
• 如果你的Databricks活动输出数组的路径不是runOutput下的字段，直接替换成实际的输出层级即可，不需要调整表达式结构。

内容的提问来源于stack exchange，提问作者Mirit