Scala Spark开发遇ClassNotFoundException：SparkSession类找不到求助

错误信息 #

Exception in thread "main"     java.lang.NoClassDefFoundError:org/apache/spark/sql/SparkSession$
at com.first.spark.Demo$.main(Demo.scala:13)
at com.first.spark.Demo.main(Demo.scala)
Caused by: java.lang.ClassNotFoundException: org.apache.spark.sql.SparkSession$
at java.net.URLClassLoader.findClass(URLClassLoader.java:382)
at java.lang.ClassLoader.loadClass(ClassLoader.java:418)
at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:355)
at java.lang.ClassLoader.loadClass(ClassLoader.java:351)
... 2 more

问题根源分析 #

1. Maven依赖配置问题 #

• spark-sql_2.12 依赖的 scope 设置为 provided，该作用域仅让依赖在编译、测试阶段可用，运行时不会被加入classpath。本地运行Spark程序时需要该依赖存在，因此触发类找不到的异常。
• spark-core_2.12 和 spark-sql_2.12 版本不一致（2.4.5 vs 2.4.8），Spark组件版本不统一可能引发兼容性问题，导致类加载失败。

2. 代码中的冗余与语法问题 #

• 导入了未使用的包（org.apache.avro.LogicalTypes.Date、org.apache.spark.sql.catalyst.expressions.Month等），增加代码冗余。
• agg(round(avg(col("Adj Close")),2)).as("AvgClsPrice") 写法错误，as 需要作用在具体的聚合列上，而非整个DataFrame。

解决方案 #

1. 修正Maven依赖（pom.xml） #

移除spark-sql的scope限制，并统一Spark组件版本：

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>org.example</groupId>
    <artifactId>Scala_2</artifactId>
    <version>1.0-SNAPSHOT</version>

    <properties>
        <maven.compiler.source>8</maven.compiler.source>
        <maven.compiler.target>8</maven.compiler.target>
        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
        <spark.version>2.4.8</spark.version>
    </properties>

    <dependencies>
        <!-- Spark Core -->
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.12</artifactId>
            <version>${spark.version}</version>
        </dependency>

        <!-- Spark SQL -->
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-sql_2.12</artifactId>
            <version>${spark.version}</version>
        </dependency>
    </dependencies>
</project>

2. 修正Scala代码 #

移除无用导入，修正聚合列的别名写法，并添加SparkSession关闭逻辑：

package com.first.spark

import org.apache.spark.sql.SparkSession
import org.apache.spark.sql.functions.{avg, col, month, round, year}

object Demo {
  def main(args: Array[String]): Unit = {

    val spark = SparkSession.builder
      .appName("ReadMultilintJson")
      .config("spark.master", "local")
      .getOrCreate()

    val aaon = spark.read.option("header", true).option("inferSchema", true)
      .csv("/Users/p0p029i/Downloads/Spark_Sql Datasets/614_m6_StockMarket_DataSets/AAON.csv")

    val aaondf = aaon.withColumn("Year", year(col("Date")))
      .withColumn("Month", month(col("Date")))

    val aaongroup = aaondf.groupBy("Year", "Month")
      .agg(round(avg(col("Adj Close")), 2).alias("AvgClsPrice"))

    val aaonsorted = aaongroup.orderBy(col("Year").desc, col("Month").desc)

    aaonsorted.show()

    // 程序结束后关闭SparkSession
    spark.stop()
  }
}

验证步骤 #

1. 执行 mvn clean install 重新构建项目，确保依赖正确下载。
2. 运行修正后的代码，确认SparkSession可正常初始化，程序能读取CSV文件并输出计算结果。

内容的提问来源于stack exchange，提问作者prateek pande