如何在Spark SQL中通过单个spark.sql语句执行多段查询？

首先得明确：Spark SQL的spark.sql()API默认不支持在单个调用里执行多个独立的SQL语句，这和你熟悉的PostgreSQL/Redshift不一样——这就是你把所有查询放一个文件执行失败，但拆分后逐个运行正常的原因。不过有几种办法可以解决这个需求，下面给你详细说：

方案1：拆分SQL语句逐个执行 #

如果你的SQL文件里的语句是用分号;分隔的，你可以在spark-shell里读取文件内容，拆分后循环调用spark.sql()执行。比如在Scala的spark-shell里这么写：

// 读取SQL文件内容
val sqlContent = scala.io.Source.fromFile("test.sql").mkString
// 按分号拆分（注意如果SQL里有带分号的字符串常量，可能需要更复杂的拆分逻辑）
val sqlStatements = sqlContent.split(";").map(_.trim).filter(_.nonEmpty)
// 逐个执行
sqlStatements.foreach(spark.sql(_))
// 最后查询结果
spark.sql("SELECT * FROM last_view_name").show()

这个方法简单直接，兼容性最好，不管哪个Spark版本都能用。

方案2：开启多语句支持（Spark 2.4+） #

从Spark 2.4开始，你可以通过设置两个配置参数，让spark.sql()允许执行多个语句：

// 在启动spark-shell时添加参数，或者在代码里设置
spark.conf.set("spark.sql.allowMultipleQueries", "true")
spark.conf.set("spark.sql.parser.multiline", "true")

设置完之后，你就可以直接读取整个SQL文件内容，用一次spark.sql()执行：

val sqlContent = scala.io.Source.fromFile("test.sql").mkString
spark.sql(sqlContent)
// 然后查询最后一个视图
spark.sql("SELECT * FROM last_view_name").show()

⚠️ 注意：这个方法要小心SQL注入风险，而且如果你的SQL里有复杂的分号使用（比如字符串里的分号），可能会解析出错。

方案3：用spark-sql命令行工具执行 #

如果你不需要在spark-shell里交互执行，直接用Spark自带的spark-sql命令行工具运行整个SQL文件更方便，它默认支持多语句：

spark-sql -f test.sql

执行完之后，最后一个查询的结果会直接输出到控制台。

方案4：用CTE（WITH子句）合并成单条SQL #

如果你的临时视图都是依赖前一个的，完全可以把它们合并成一个带CTE的SQL语句，这样不需要创建临时视图，直接用单条spark.sql()就能拿到结果。比如原来的SQL是：

CREATE TEMP VIEW view1 AS SELECT * FROM table1;
CREATE TEMP VIEW view2 AS SELECT col1, col2 FROM view1 WHERE col3 > 10;
CREATE TEMP VIEW last_view AS SELECT col1, COUNT(*) as cnt FROM view2 GROUP BY col1;
SELECT * FROM last_view;

可以改成：

WITH view1 AS (
    SELECT * FROM table1
),
view2 AS (
    SELECT col1, col2 FROM view1 WHERE col3 > 10
),
last_view AS (
    SELECT col1, COUNT(*) as cnt FROM view2 GROUP BY col1
)
SELECT * FROM last_view;

然后直接用spark.sql("上面的CTE语句").show()执行就行，这种方式更简洁，也避免了临时视图的会话依赖问题。

内容的提问来源于stack exchange，提问作者White Shadows