Azure Data Factory增量加载：GUID类型ID作为水印列报错求助

1. 修正GUID水印的筛选逻辑 #

• GUID本质是字符串类型，ADF中编写源筛选查询时，要确保水印值格式正确：使用WHERE [GUID_ID] > '@{variables('LastWatermarkValue')}'，变量需存储不带额外引号的合法GUID字符串。
• 初始水印值必须设为空GUID（'00000000-0000-0000-0000-000000000000'），不能用空值或其他格式，避免触发SQL语法错误。

2. 确保水印列类型映射一致 #

• 在复制活动的映射界面，强制指定源和目标的GUID列类型为uniqueidentifier，覆盖动态映射可能产生的类型转换错误（比如误转成字符串）。
• 存储水印值的ADF变量类型要设为字符串，因为ADF不支持直接用uniqueidentifier类型变量存储GUID。

3. 替换自动水印捕获为Lookup手动获取 #

对于GUID主键表，放弃ADF自动水印捕获，改用Lookup活动获取目标表最大GUID：

1. 执行Lookup活动，查询目标表：SELECT MAX([GUID_ID]) AS MaxGUID FROM [TargetTable]
2. 将结果赋值给变量：@if(empty(activity('Lookup_MaxGUID').output.firstRow.MaxGUID), '00000000-0000-0000-0000-000000000000', activity('Lookup_MaxGUID').output.firstRow.MaxGUID)
3. 在复制活动源查询中用该变量筛选：SELECT * FROM [SourceTable] WHERE [GUID_ID] > '@{variables('MaxGUID')}'

4. 修复动态映射的类型配置 #

如果必须用动态映射，检查映射JSON中GUID列的类型配置：

{
  "source": {
    "name": "GUID_ID",
    "type": "UniqueIdentifier"
  },
  "sink": {
    "name": "GUID_ID",
    "type": "UniqueIdentifier"
  }
}

确保sourceType和sinkType均为UniqueIdentifier，避免类型不匹配。

5. 小批量测试定位具体错误 #

构造含少量数据的测试表，执行增量流程，查看ADF报错详情（比如语法错误、权限问题、类型冲突），根据具体提示调整配置。

内容的提问来源于stack exchange，提问作者gmp