Azure Data Factory v2中，如何在多个Execute Pipeline活动复用Lookup结果？

当然可以复用Lookup活动的结果，完全不需要在每个Execute Pipeline活动中重复创建Lookup——这样不仅能减少不必要的资源消耗，还能保证所有子管道使用的是同一批数据，避免数据不一致的问题。下面是具体的实现步骤：

核心实现思路 #

通过参数传递的方式，将主管道中Lookup活动的输出直接传递给各个Execute Pipeline活动，让子管道可以直接使用这些结果。

具体操作步骤 #

1. 确认Lookup活动的输出结构
   Lookup活动的结果会存储在活动的输出对象中，你可以通过表达式引用它：

   @activity('YourLookupActivityName').output.value
   

   这个表达式会返回Lookup查询到的所有行数据（数组结构），如果只需要单条数据，也可以用@activity('YourLookupActivityName').output.firstRow来获取第一行。

2. 为子管道定义输入参数
   打开你要调用的子管道，在"参数"面板中添加一个参数（比如命名为LookupResult），参数类型根据Lookup返回的结构选择：

   • 如果返回的是多行数据，选Array类型
   • 如果是单行数据，选Object类型

3. 在主管道中传递Lookup结果
   回到主管道的Execute Pipeline活动配置界面，找到"参数"区域，将刚才的Lookup输出表达式赋值给对应的子管道参数。比如：

   • 参数名称：LookupResult
   • 参数值：@activity('YourLookupActivityName').output.value

4. （可选）结合For Each批量处理
   如果你的需求是给Lookup结果中的每一条数据都调用一次子管道，可以用For Each活动包裹Execute Pipeline：

   • 将For Each的"项"设置为@activity('YourLookupActivityName').output.value
   • 在For Each内部的Execute Pipeline活动中，传递当前迭代的条目：@item()

注意事项 #

• 确保子管道的参数类型和Lookup输出的结构匹配，否则会出现参数类型不兼容的错误。
• 如果Lookup返回的数据量极大，要注意ADF的参数大小限制（目前单参数最大支持1MB），这种情况下可以考虑将Lookup结果存储到存储账户，再让子管道读取，而不是直接传递参数。
• 子管道内部可以直接通过@pipeline().parameters.LookupResult来引用传递过来的Lookup结果，按需提取具体字段。

内容的提问来源于stack exchange，提问作者Saud Meethal