如何在Scala中加载并执行.sql文件？

嗨，这个问题很常见，我来给你几个实用的解决方案，都是Spark项目里处理外部SQL文件的常用方式：

方法一：直接读取本地SQL文件为字符串 #

核心思路就是把.sql文件里的文本内容全部读出来，转换成你之前熟悉的字符串形式，再传给spark.sql()执行，简单直接。

代码示例：

import org.apache.spark.sql.SparkSession
import scala.io.Source

object RunSqlFromFile {
  def main(args: Array[String]): Unit = {
    // 初始化SparkSession
    val spark = SparkSession.builder()
      .appName("RunSqlFromFileDemo")
      .master("local[*]") // 本地测试用，生产环境请移除该配置
      .getOrCreate()

    // 替换成你的SQL文件路径，支持相对路径或绝对路径
    val sqlFilePath = "./data.sql"
    // 读取文件内容为字符串
    val sqlQuery = Source.fromFile(sqlFilePath).mkString

    // 执行SQL并输出结果
    val resultDF = spark.sql(sqlQuery)
    resultDF.show()

    // 关闭SparkSession
    spark.stop()
  }
}

小提示：如果你的SQL文件里包含多行注释（/* ... */），读取后不会影响执行，Spark会自动忽略这些注释。

方法二：读取项目资源目录下的SQL文件 #

如果你的data.sql是放在Maven/Gradle项目的src/main/resources目录下（标准资源目录），用类加载器读取会更稳妥，避免打包后路径找不到的问题：

import org.apache.spark.sql.SparkSession
import scala.io.Source

object RunSqlFromResource {
  def main(args: Array[String]): Unit = {
    val spark = SparkSession.builder()
      .appName("RunSqlFromResourceDemo")
      .master("local[*]")
      .getOrCreate()

    // 从资源目录读取文件，路径前面的斜杠表示根资源目录
    val sqlStream = getClass.getResourceAsStream("/data.sql")
    val sqlQuery = Source.fromInputStream(sqlStream).mkString

    val resultDF = spark.sql(sqlQuery)
    resultDF.show()

    // 记得关闭输入流
    sqlStream.close()
    spark.stop()
  }
}

方法三：处理包含多个SQL语句的文件 #

如果你的data.sql里有多个用分号分隔的语句（比如建表语句+查询语句），spark.sql()默认只会执行第一个，这时候可以拆分语句后逐个执行：

import org.apache.spark.sql.SparkSession
import scala.io.Source

object RunMultipleSqlFromFile {
  def main(args: Array[String]): Unit = {
    val spark = SparkSession.builder()
      .appName("RunMultipleSqlDemo")
      .master("local[*]")
      .getOrCreate()

    val sqlFilePath = "./data.sql"
    val sqlContent = Source.fromFile(sqlFilePath).mkString

    // 拆分并过滤有效SQL语句：去掉空行、单行注释
    val sqlStatements = sqlContent
      .split(";")
      .map(_.trim)
      .filter(stmt => stmt.nonEmpty && !stmt.startsWith("--"))

    // 循环执行每个SQL语句
    sqlStatements.foreach { stmt =>
      println(s"正在执行SQL: $stmt")
      spark.sql(stmt)
    }

    spark.stop()
  }
}

额外场景：读取HDFS上的SQL文件 #

如果你的SQL文件存放在HDFS上，可以用Spark的Hadoop文件系统API读取：

import org.apache.spark.sql.SparkSession
import org.apache.hadoop.fs.{FileSystem, Path}
import java.io.{BufferedReader, InputStreamReader}

object RunSqlFromHDFS {
  def main(args: Array[String]): Unit = {
    val spark = SparkSession.builder()
      .appName("RunSqlFromHDFSDemo")
      .getOrCreate()

    // HDFS文件路径
    val hdfsPath = "hdfs:///user/yourname/data.sql"
    val fs = FileSystem.get(spark.sparkContext.hadoopConfiguration)
    val inputStream = fs.open(new Path(hdfsPath))
    val reader = new BufferedReader(new InputStreamReader(inputStream))

    // 逐行读取文件内容
    val sqlQuery = Iterator.continually(reader.readLine()).takeWhile(_ != null).mkString("\n")

    val resultDF = spark.sql(sqlQuery)
    resultDF.show()

    // 关闭资源
    reader.close()
    inputStream.close()
    spark.stop()
  }
}

注意事项：

• 编码问题：如果SQL文件是GBK等非UTF-8编码，读取时要指定编码，比如Source.fromFile(sqlFilePath, "GBK").mkString
• 大文件：如果SQL文件特别大，建议用流式读取，但一般查询语句不会大到内存放不下，所以这个场景很少见。

内容的提问来源于stack exchange，提问作者Wanying