如何将带参数的Data Factory SQL查询存入SQL DB并在管道中调用

你遇到的报错根本原因是：Azure Data Factory（ADF）的表达式仅在管道静态定义的动态内容阶段完成解析，从数据库动态拉取的字符串会被ADF识别为普通文本，不会二次扫描解析其中的@{pipeline()}、@{activity()}类表达式，导致包含未解析表达式的SQL直接发送到SQL引擎，SQL无法识别@pipeline变量，因此抛出137错误。

方案一：占位符替换（全版本兼容，生产环境推荐） #

• 第一步：修改存入数据库的SQL格式，把所有动态部分替换为自定义占位符，不要保留ADF原生表达式，存储的SQL示例如下：

SELECT * FROM {{Table}} WHERE {{KeyColumn}} > {{ExistingKeyValue}} AND {{KeyColumn}} <= {{NewKeyValue}}

• 第二步：新增Lookup活动拉取数据库中存储的带占位符的SQL语句，假设该Lookup活动命名为GetStoredQuery，取到的SQL字段为QueryText
• 第三步：在复制活动的源查询配置处，使用replace函数嵌套替换所有占位符为实际取值，表达式示例如下：

@replace(
    replace(
        replace(
            replace(
                activity('GetStoredQuery').output.firstRow.QueryText,
                '{{Table}}',
                pipeline().parameters.Table
            ),
            '{{KeyColumn}}',
            pipeline().parameters.KeyColumn
        ),
        '{{ExistingKeyValue}}',
        activity('LookupExistingKey').output.firstRow.KeyValue
    ),
    '{{NewKeyValue}}',
    activity('LoopupNewKey').output.firstRow.NewKeyValue
)

请根据你实际的Lookup活动命名、存储SQL的字段名调整对应取值

方案二：强制表达式解析（仅支持高版本ADF，测试场景可用） #

如果确实需要直接存储带ADF原生表达式的SQL，可以使用@eval()函数对拉取到的SQL字符串做强制表达式解析，示例表达式如下：

@eval(activity('GetStoredQuery').output.firstRow.QueryText)

注意：该方法风险较高，若存储的SQL包含恶意表达式会导致管道运行异常，且部分低版本ADF不支持该函数

• 动态拼接表名、列名的场景下必须做参数校验，可在管道前端新增参数校验规则，仅允许指定范围内的表名、列名传入，避免SQL注入风险
• 数值类的参数取值建议提前做类型校验，避免拼接后出现SQL语法错误

内容的提问来源于stack exchange，提问作者K N