如何在单个数据管道中并行运行两个不同数据集的Lookup活动

核心实现逻辑 #

在同一数据管道内添加两个独立的Lookup活动，通过不设置依赖关系让它们并行执行，各自对接对应数据源和后续API操作即可。

具体配置步骤 #

• 配置Lookup1（对应Data Lake的file1）
  1. 新建Lookup活动，数据源选择Data Lake中的file1，确认存储账户、容器及文件路径无误
  2. 衔接API活动：配置API调用参数，将Lookup1返回的数据集通过API批量插入Cosmos DB
• 配置Lookup2（对应Data Lake的file2）
  1. 新建第二个Lookup活动，数据源选择Data Lake中的file2，注意与file1的路径/文件名区分开
  2. 衔接API活动：配置适配更新逻辑的API参数，用Lookup2返回的数据完成Cosmos DB的记录更新
• 启用并行执行
  不要给两个Lookup活动添加任何依赖连线（比如“成功触发”关联），数据管道工具会默认并行执行无依赖的活动

关键注意点 #

• 确保两个Lookup活动的数据源配置完全独立，避免文件路径或账户信息混淆
• API活动需分别适配插入、更新的业务规则：比如插入用POST方法，更新用PUT/PATCH方法，正确传递Lookup返回的字段值
• 可通过管道监控界面查看两个活动的独立执行日志，排查并行运行中的问题

内容的提问来源于stack exchange，提问作者sunitha v