Azure Data Factory中两个Lookup活动值比对后查询报错如何解决？

问题根因 #

• 核心语法错误：将ADF内置函数formatDateTime直接写在了SQL文本内部，ADF仅会解析@后的表达式层级的函数，SQL字符串内的函数会被直接透传给数据库，而数据库没有对应的formatDateTime函数，直接抛出语法错误。
• 表达式规则不匹配：ADF中@符号后需跟合法的表达式逻辑，直接在@后拼接静态SQL文本不符合表达式编写规则，无法正确解析生成可执行的SQL。
• 日期值格式问题：未对日期输出指定统一格式，也没有为SQL中的日期值添加单引号包裹，会导致数据库识别为非法语法或日期比对异常。
• 潜在拼写错误：检查字段名MODIFED_DATE是否应为MODIFIED_DATE、表名refernce_value是否应为reference_value，拼写错误也会触发查询报错。

解决方案 #

根据你的使用场景选择对应实现方式：

场景1：在SQL查询中过滤表数据，过滤条件为表的修改日期 >= 水印Lookup返回的水印值 #

使用concat函数拼接静态SQL文本和ADF动态返回的日期值，正确的动态表达式如下：

@concat('select * from carrs.reference_value where MODIFIED_DATE >= ''', formatDateTime(activity('lkp_watermarkvalue').output.firstrow.watermarkvalue, 'yyyy-MM-dd HH:mm:ss'), '''')

注意：ADF表达式中单引号需要用两个单引号转义，日期格式yyyy-MM-dd HH:mm:ss可根据你的数据库实际支持的格式调整。

场景2：先在ADF层面比对两个Lookup的返回日期，根据比对结果执行对应操作 #

添加If Condition活动，在判断条件中写入两个Lookup值的比对表达式：

@greaterOrEquals(
    formatDateTime(activity('lkp_modified_Date').output.firstrow.MODIFIED_DATE, 'yyyy-MM-dd HH:mm:ss'),
    formatDateTime(activity('lkp_watermarkvalue').output.firstrow.watermarkvalue, 'yyyy-MM-dd HH:mm:ss')
)

在If Condition的True分支和False分支分别放置对应逻辑的活动即可。

验证步骤 #

• 先单独运行两个Lookup活动，确认返回的firstrow节点下对应字段存在且无空值。
• 可将拼接后的SQL输出到字符串变量中，复制到数据库客户端直接运行，验证语法正确性。

内容的提问来源于stack exchange，提问作者Kolli Sai Babu Chowdary