在Databricks Notebook中传递表名与过滤变量报错，求正确实现方式

你的代码出错的核心原因是：Spark SQL中的${}语法用于引用Databricks笔记本参数或会话级变量，而非Python本地变量。直接用Python变量填充${}占位符时，Spark SQL无法识别这些Python变量，因此会抛出错误。

以下是几种可行的修正方案：

方案1：使用Python f-string格式化SQL语句 #

这是最直观的方式，直接将Python变量嵌入SQL字符串中：

qty_table = customer_master.customer_qty
customer_id = 1000

# 若表名包含特殊字符，可添加反引号包裹表名
cust_qty = spark.sql(f"select count(*) from `{qty_table}` where id = {customer_id}").collect()[0][0]

注意：如果customer_id是不可信的用户输入内容，这种方式存在SQL注入风险，仅适用于变量值可控的场景。

方案2：使用DataFrame API（推荐） #

避免直接拼接SQL，改用Spark DataFrame的API操作，更安全且代码可读性更强：

from pyspark.sql import functions as F

qty_table = customer_master.customer_qty
customer_id = 1000

# 读取表 -> 过滤id -> 统计数量
cust_qty = spark.table(qty_table).filter(F.col("id") == customer_id).count()

这种方式无需手动拼接SQL，自动处理变量转义，彻底避免SQL注入问题，同时Spark对DataFrame操作的优化更充分，性能表现更优。

方案3：绑定Databricks会话变量 #

将Python变量赋值给Databricks的会话级变量，再用${}引用：

qty_table = customer_master.customer_qty
customer_id = 1000

# 设置会话变量
spark.sql(f"set qty_table = {qty_table}")
spark.sql(f"set customer_id = {customer_id}")

# 使用${}引用会话变量
cust_qty = spark.sql("select count(*) from ${qty_table} where id = ${customer_id}").collect()[0][0]

这种方式适合需要复用变量的复杂场景，但步骤相对繁琐。

内容的提问来源于stack exchange，提问作者Raj R