Azure Pipeline：将Lookup Activity输出数据传入Data Flow源求助

1. 验证Lookup Activity输出结构 #

• 先运行Lookup Activity，查看其输出日志，确认返回的是结构化数组数据（格式参考下方示例）。若结果集超过5000行或4MB，改用Copy Activity将Oracle数据暂存到Blob后再处理（Lookup有输出大小限制）。

  {
    "value": [
      {"id": 1, "name": "test1"},
      {"id": 2, "name": "test2"}
    ]
  }
  

2. 配置Pipeline参数传递Lookup数据 #

• 在Pipeline中添加Data Flow活动，切换到Parameters标签，创建一个Array类型的参数（命名为lookupData）。
• 参数值设置为：@activity('YourLookupActivityName').output.value，替换YourLookupActivityName为实际的Lookup活动名称。

3. Data Flow中配置Inline源接收参数数据 #

• 打开Data Flow编辑器，添加Source转换，选择Inline作为数据源类型。
• 在Data选项卡下，选择Parameter作为数据来源，选中之前创建的lookupData参数。
• 切换到Projection选项卡，确认列结构与Lookup输出匹配，手动调整列名或数据类型（如有必要）。

4. 配置Blob CSV Sink为追加模式 #

• 添加Sink转换并连接到Source输出。
• 选择Blob存储作为Sink类型，配置对应的Linked Service、容器路径及目标CSV文件路径。
• 在Settings选项卡中：
  • 设置Write behavior为Append。
  • 勾选First row as header（若目标CSV包含表头）。
  • 根据需求配置分隔符、编码等其他选项。

5. 测试运行与验证 #

• 保存Pipeline并触发运行，查看Data Flow运行日志确认无报错。
• 检查Blob存储中的主CSV文件，确认数据已成功追加。

内容的提问来源于stack exchange，提问作者Waris Souran