Azure本地Oracle到Data Lake增量加载（Delta Load）管道追加数据问题求助

核心问题：别用Lookup做数据写入 #

Lookup活动的设计目的是获取少量数据（比如参数、配置值）或者验证数据存在性，不适合用来批量写入数据。你需要替换成Copy活动来处理增量数据的追加逻辑，步骤如下：

1. 配置增量数据提取的Copy活动源 #

• 源数据集选择Oracle，编写增量过滤查询，比如：

  SELECT * FROM your_oracle_table 
  WHERE last_modified_time > @pipeline().parameters.last_sync_timestamp
  

  （last_sync_timestamp可以是你全量加载完成的时间，或者存储在变量/配置文件里的上次同步时间）
• 如果你的Oracle表没有时间戳字段，可以用主键范围过滤（比如WHERE id > @pipeline().parameters.max_last_id），前提是主键自增且无删除。

2. 配置ADLS目标的追加写入 #

• 目标数据集选择Azure Data Lake Storage Gen2，格式选CSV，指向你已有的主CSV文件路径
• 进入Copy活动的设置面板，找到写入行为，选择追加（Append）
• 关键注意点：确保增量查询返回的列顺序、数据类型和主CSV文件完全一致，否则会出现列错位、数据格式不匹配的问题

3. 同步时间/主键的持久化（避免重复加载） #

• 用Set Variable活动记录本次同步的结束时间（比如@utcnow()），或者本次加载的最大主键值
• 如果需要跨管道运行保留这个值，可以：
  • 把值写入ADLS的一个JSON配置文件（比如sync_config.json），下次用Lookup活动读取这个文件获取参数
  • 或者用Azure SQL Database建一张同步日志表，存储每次同步的时间戳/主键值，用Lookup活动查询最新记录

不推荐的Lookup替代方案（仅适用于极小数据集） #

如果非要用Lookup获取的数据追加（比如只有几十行），可以这么做：

• 用ForEach活动遍历Lookup返回的output.value数据集
• 在ForEach内部，用Copy活动（源选Inline数据集，把当前行数据构造成CSV格式）或者调用Azure Function来逐行追加到主文件，但这种方法效率极低，不适合批量数据

内容的提问来源于stack exchange，提问作者Waris Souran