Spark/Scala项目中读取resources目录SQL文件并执行的代码实现

以下是workflow.samplequeryexecute对象的完整实现，包含读取SQL文件并执行Spark查询的逻辑：

package workflow

import org.apache.spark.sql.SparkSession
import scala.io.Source

object samplequeryexecute {
  def main(args: Array[String]): Unit = {
    // 按题目要求已具备Spark配置，此处直接初始化或使用已有的SparkSession
    val spark = SparkSession.builder()
      .appName("SampleQueryExecutor")
      .getOrCreate()

    // 读取resources/sql目录下的samplequery.sql文件
    val sqlFilePath = "/sql/samplequery.sql"
    val sqlContent = Source.fromInputStream(getClass.getResourceAsStream(sqlFilePath))
      .mkString
      .trim // 去除首尾空白，避免SQL语法问题

    // 执行SQL查询
    val resultDF = spark.sql(sqlContent)

    // 示例：打印查询结果（可根据需求替换为写入存储等逻辑）
    resultDF.show()

    // 关闭SparkSession
    spark.stop()
  }
}

关键说明： #

• 路径处理：src/main/resources编译后会被加入类路径根目录，因此直接用/sql/samplequery.sql即可定位到目标文件，无需硬编码本地绝对路径。
• 资源读取：getClass.getResourceAsStream用于读取类路径内的资源文件，保证代码在不同环境下的可移植性。
• SQL执行：通过spark.sql()方法直接执行读取到的SQL语句，返回的DataFrame可根据业务需求进行后续处理。

内容的提问来源于stack exchange，提问作者Rashmi R B