首次运行Azure Databricks脚本时Widget变量引发语法错误求助

问题原因 #

你直接在SQL语句中使用$dbname这类Shell风格变量写法，但Databricks SQL解析器无法识别Python变量dbname，加上首次运行时变量未被正确注入，生成了包含空值的无效SQL（比如DROP TABLE IF EXISTS ..tablename），触发语法错误。

修复方案 #

方法1：Python字符串拼接+spark.sql执行 #

通过Python字符串拼接生成完整合法的SQL语句，再用spark.sql执行，确保变量被正确替换：

dbutils.widgets.removeAll()
dbutils.widgets.text("dbname", "db")
dbname = dbutils.widgets.get("dbname")
dbutils.widgets.text("dbschema", "dbschema")
dbschema = dbutils.widgets.get("dbschema")

# 用f-string拼接生成SQL
drop_table_sql = f"DROP TABLE IF EXISTS {dbname}.{dbschema}.tablename"
# 执行SQL
spark.sql(drop_table_sql)

方法2：SQL单元格变量绑定 #

如果SQL写在单独的SQL单元格中，可先通过Python将变量注入SQL上下文：

# Python单元格中定义并注册变量
dbutils.widgets.removeAll()
dbutils.widgets.text("dbname", "db")
dbname = dbutils.widgets.get("dbname")
dbutils.widgets.text("dbschema", "dbschema")
dbschema = dbutils.widgets.get("dbschema")

spark.conf.set("var.dbname", dbname)
spark.conf.set("var.dbschema", dbschema)

然后在SQL单元格中引用：

DROP TABLE IF EXISTS ${var.dbname}.${var.dbschema}.tablename;

额外注意事项 #

• 保持Widget默认值不为空，避免ADF未传参时变量为空导致SQL无效
• ADF传递参数时，只需在Databricks活动中指定对应Widget名称的参数值即可，无需修改notebook默认值设置

内容的提问来源于stack exchange，提问作者Developer Rajinikanth