ADF中用Lookup Activity获取最大值并实现水印更新可行吗？

完全可以用Lookup Activity实现你这个需求，具体配置步骤如下：

1. 修改Lookup Activity获取列最大值 #

你已经能读取Parquet文件，接下来调整Lookup的设置就行：

• 打开Lookup的设置标签，切换到查询模式（别用“整个数据集”模式）
• 写SQL查询语句取目标列的最大值，假设你的水印列叫watermark_col，查询语句示例：

  SELECT MAX(watermark_col) AS latest_watermark FROM your_parquet_dataset
  

• 执行Lookup后，最大值会存在输出里，引用路径是@{activity('LookupWatermark').output.firstRow.latest_watermark}（把LookupWatermark换成你实际的活动名称）

2. 把最大值传递给Copy Activity #

在Copy Activity里直接用动态表达式引用这个值就行：

• 比如在Copy的源过滤条件、或者sink的新行数据里，插入上面的表达式
• 要追加新值到Parquet文件的话，记得把Copy的sink设置成追加模式：
  • 选Parquet作为sink数据集，在sink的复制行为里挑“追加”
  • 构造新的三列数据，其中水印列用你这次要更新的最新值（比如当前时间@utcnow()，或者源数据里的最大时间戳）

3. 测试验证 #

• 先单独跑Lookup，看输出里有没有正确返回最大值
• 再跑整个管道，检查Parquet文件里是不是多了新的水印行

内容的提问来源于stack exchange，提问作者Lala