如何在Airflow的DatabricksSqlOperator中向SQL文件传递参数？

问题原因 #

{{ ds }} 是 Airflow 模板宏，由 Airflow 模板引擎在任务执行前渲染替换；而你使用的 parameters 参数属于SQL参数化查询范畴，并非Airflow模板层的变量替换，之前尝试的占位符格式既不匹配Databricks SQL的参数化规则，也不属于Airflow模板变量的引用方式，因此无法生效。

两种可行解决方案 #

方案1：Airflow模板变量传递（适合静态/上下文关联参数） #

利用Airflow的模板渲染能力，通过template_vars将参数注入模板上下文，在SQL文件中直接引用模板变量。

修改算子代码：

task = DatabricksSqlOperator(
    task_id=task_id,
    sql_endpoint_name="my-serverless-endpoint",
    sql="sample.sql",
    template_vars={
        "item1": "abc",
        "item2": "xyz"
    },
)

修改sample.sql文件：

INSERT INTO db.table
VALUES (
    '{{ ds }}',
    '{{ template_vars.item1 }}',
    '{{ template_vars.item2 }}'
)
;

方案2：Databricks SQL参数化查询（适合动态/防注入场景） #

Databricks SQL支持命名参数格式:参数名，直接用该格式作为SQL占位符，parameters参数会自动完成数据库端的参数绑定。

修改sample.sql文件：

INSERT INTO db.table
VALUES (
    '{{ ds }}',
    :item1,
    :item2
)
;

算子代码保持不变：

task = DatabricksSqlOperator(
    task_id=task_id,
    sql_endpoint_name="my-serverless-endpoint",
    sql="sample.sql",
    parameters={
        "item1": "abc",
        "item2": "xyz"
    },
)

注意：此处无需给:item1添加单引号，参数化查询会自动处理字符串类型的引号，同时避免SQL注入风险。

方案对比 #

• 方案1：Airflow模板渲染阶段完成替换，适合需要结合Airflow上下文（如ds、execution_date）的静态参数。
• 方案2：数据库端参数绑定，安全性更高，适合动态生成的参数场景。

内容的提问来源于stack exchange，提问作者user2371184