Spark Streaming运行报错：Exception in thread "main" java.lang.NoClassDefFoundError

我帮你梳理下这个报错的常见原因和对应的解决办法，都是实际开发中踩过的坑：

一、最常见：依赖缺失或版本不匹配 #

NoClassDefFoundError本质是运行时找不到指定类，首要看Spark Streaming相关依赖是否正确引入，版本是否匹配。

如果你用sbt构建项目，确保build.sbt里包含正确的依赖（以Spark 3.3.0 + Scala 2.12为例）：

libraryDependencies ++= Seq(
  "org.apache.spark" %% "spark-streaming" % "3.3.0" % "provided",
  "org.apache.spark" %% "spark-core" % "3.3.0" % "provided"
)

注意：本地测试时去掉provided（本地没有集群环境），提交到集群时保留该标记避免依赖冲突；另外Scala版本必须和Spark版本严格匹配——Spark 3.x对应Scala 2.12，Spark 2.x对应Scala 2.11，版本不匹配会直接引发类找不到的问题。

二、打包方式错误，未包含依赖 #

如果手动编译或打包时只打了自己的代码，没把Spark等依赖包打包进去，运行时必然找不到类。

推荐用sbt的assembly插件打fat jar（包含所有依赖的完整jar包）：

1. 在project/plugins.sbt中添加插件：

addSbtPlugin("com.eed3si9n" % "sbt-assembly" % "1.2.0")

2. 终端运行sbt assembly，生成的jar包在target/scala-xxx/目录下，提交运行时用：

spark-submit --class StatefulNetworkWordCount your-assembled-jar.jar

三、代码缺失关键初始化逻辑 #

看你贴的代码片段，似乎没看到StreamingContext的初始化代码？这部分是核心，缺失的话也会触发类找不到的报错，补全后的完整代码示例：

import org.apache.spark.streaming.{Seconds, StreamingContext}
import org.apache.spark.SparkConf

object StatefulNetworkWordCount {
  def updateFunction(newValues: Seq[Int], runningCount: Option[Int]): Option[Int] = {
    val newCount = runningCount.getOrElse(0) + newValues.sum
    Some(newCount)
  }

  def main(args: Array[String]): Unit = {
    // 初始化StreamingContext，这部分你可能漏了
    val conf = new SparkConf().setAppName("StatefulNetworkWordCount").setMaster("local[*]")
    val ssc = new StreamingContext(conf, Seconds(5))

    ssc.checkpoint("E:\\sparkdata")
    val lines = ssc.socketTextStream("localhost", 9999)
    val words = lines.flatMap(_.split(" "))
    val wordCounts = words.map(word => (word, 1))
    // 调用状态更新函数
    val runningCounts = wordCounts.updateStateByKey(updateFunction _)
    runningCounts.print()

    ssc.start()
    ssc.awaitTermination()
  }
}

四、IDE环境配置问题 #

如果是本地IDE（比如IntelliJ）运行，检查这两点：

• 项目的Scala SDK版本和Spark依赖的Scala版本完全一致
• 已将Spark的核心、Streaming jar包添加到项目依赖中

内容的提问来源于stack exchange，提问作者Tarun Reddy