Databricks Notebook中Spark SQL执行SELECT语法错误排查

错误原因 #

Spark SQL的spark.sql()接口不支持在单条语句中执行多个SQL命令（比如同时执行USE切换库和SELECT查询）。而Databricks Notebook的SQL单元格由平台专属解析器处理，会自动拆分多语句并依次执行，所以在SQL单元格里能正常运行，但spark.sql()不支持这种用法。

解决方案 #

有两种可行的处理方式：

方式1：分两次执行SQL语句 #

先单独执行切换库的命令，再执行查询语句：

# 切换到目标数据库
spark.sql(f"USE {db}")
# 执行查询
df = spark.sql(f"SELECT * FROM {table}")
display(df)

方式2：查询语句中直接指定数据库前缀 #

无需切换库，直接在表名前拼接数据库名称：

statement = f"SELECT * FROM {db}.{table}"
df = spark.sql(statement)
display(df)

内容的提问来源于stack exchange，提问作者pymat