Databricks调度流水线执行Spark SQL时出现解析语法错误求助

手动运行时，Databricks交互式环境会自动解析$catalogname变量，但Workflow调度时，%sql魔法命令的变量解析逻辑存在差异，导致$catalogname未被正确替换，最终SQL语句变成select * .schema.tablename，触发语法错误。另外原SQL语句缺少FROM关键字，也是潜在问题点。

提供两种可靠的修复方式：

方式1：Python拼接SQL执行 #

通过Python动态生成完整SQL语句，调用spark.sql()执行，避免魔法命令的变量解析差异：

dbutils.widgets.text("catalogname","test")
unity_catalog_name = dbutils.widgets.get("catalogname")
# 拼接带FROM关键字的合法SQL
sql_query = f"select * from {unity_catalog_name}.schema.tablename"
# 执行查询并展示结果
spark.sql(sql_query).display()

方式2：修正%sql变量引用语法 #

若坚持使用%sql魔法命令，需采用Databricks官方的widget变量引用语法${catalogname}，同时补全FROM关键字：

dbutils.widgets.text("catalogname","test")
unity_catalog_name = dbutils.widgets.get("catalogname")

%sql
select * from ${catalogname}.schema.tablename

修改后重新调度测试，确保变量被正确替换为实际目录名，生成合法SQL语句（如select * from test.schema.tablename）即可正常执行。

内容的提问来源于stack exchange，提问作者Developer Rajinikanth