Azure Data Factory增量加载无法将毫秒级Epoch时间戳设为水印列

不需要新增列，直接通过手动构建增量逻辑绕过ADF复制工具的水印列类型限制，步骤如下：

• 步骤1：创建水印变量
  在ADF管道中创建一个数值类型的变量lastWatermarkValue，初始值设为0（对应Epoch起始时间，或你需要的初始同步起点）。

• 步骤2：获取最新水印值
  添加一个Lookup活动，连接到你的SQL Server源，执行查询获取当前表中最大的updateStamp：

  SELECT MAX(updateStamp) AS latestStamp FROM [你的Schema].[你的表名]
  

• 步骤3：配置增量复制的源查询
  添加Copy Data活动，源选择查询模式，手动编写过滤SQL，用变量引用上次的水印值：

  SELECT * FROM [你的Schema].[你的表名] WHERE updateStamp > @variables('lastWatermarkValue')
  

  目标端按正常配置Blob Storage即可。

• 步骤4：更新水印变量
  添加Set Variable活动，将Lookup活动返回的最新值赋值给lastWatermarkValue，表达式为：

  @activity('Lookup_GetLatestStamp').output.firstRow.latestStamp
  

  注意替换Lookup活动的名称为你实际的活动名。

• 可选：持久化水印值
  如果需要管道重启后保留水印状态，不要用管道变量，而是把水印值存在一个单独的SQL小表或者Blob文件中：

  • 比如在SQL Server建一个表WatermarkLog，包含TableName和LastValue列
  • 第一次运行时从这个表读取初始值，同步完成后更新该表的LastValue为最新的updateStamp

关键说明 #

• ADF的复制工具自动水印列确实只支持datetime/整数键，但手动写查询完全可以用numeric类型的Epoch值做过滤，因为数值比较逻辑通用
• 对于上亿行的表，WHERE updateStamp > @变量的查询只要updateStamp列有索引，性能不会有问题，建议确保该列有非聚集索引
• 如果用元数据驱动复制，可以把源查询模板存在元数据表里，动态替换表名和水印变量，实现批量表的增量同步

内容的提问来源于stack exchange，提问作者TomH