运行Lambda-Arch-Spark项目遇java.lang.NoClassDefFoundError报错求助

看起来你遇到的是典型的Spark Streaming依赖缺失或配置不当问题——毕竟org.apache.spark.streaming.dstream.DStream是Spark Streaming的核心类，找不到它基本就是项目的依赖配置出了问题。结合你描述的情况（两个用到Streaming的程序报错，其他正常），我给你梳理几个排查和解决的步骤：

1. 检查sbt依赖中的Spark Streaming配置 #

首先打开项目的build.sbt文件，确认Spark Streaming的依赖是否正确引入，且scope设置合理。

你当前用的是Scala 2.11.8，对应Spark 2.x系列（比如2.3.x或2.4.x，这两个版本都兼容Scala 2.11）。如果之前的依赖里把Spark Streaming设成了provided，那本地运行sbt run时就会找不到这个类——因为provided是给集群环境准备的（集群节点已经预装了Spark的jar包），但本地开发时需要把依赖包拉到classpath里。

正确的依赖配置示例（适配你的Scala和sbt版本）：

// 基础Spark核心依赖
libraryDependencies += "org.apache.spark" %% "spark-core" % "2.3.4" % "compile"
// Spark Streaming核心依赖，必须加这个！
libraryDependencies += "org.apache.spark" %% "spark-streaming" % "2.3.4" % "compile"
// 如果用到Kafka整合，还要加对应的Streaming-Kafka依赖
libraryDependencies += "org.apache.spark" %% "spark-streaming-kafka-0-10" % "2.3.4" % "compile"
// 保留你原本的Cassandra、Twitter相关依赖

2. 排查依赖冲突 #

有时候项目里其他依赖会引入不同版本的Spark组件，导致类加载冲突。你可以用sbt命令查看完整的依赖树：

sbt dependencyTree

如果输出里看到有多个版本的spark-streaming_2.11或spark-core_2.11，就需要排除冲突的依赖。比如某个第三方依赖意外引入了旧版本Spark，你可以这样排除：

libraryDependencies += "com.example" % "some-dependency" % "1.0.0" exclude("org.apache.spark", "spark-streaming_2.11")

3. 清理并重新编译项目 #

修改完依赖后，先清理旧的编译文件，再重新编译，确保新的依赖被正确拉取：

sbt clean compile

之后再执行sbt run，选择报错的程序测试。

补充说明 #

你提到另外两个程序（CassandraKafkaConsumer和TwitterStreamApp）能正常运行，这是因为它们没有用到Spark Streaming的API，所以不需要加载DStream类，自然不会触发这个错误——这也侧面验证了问题确实出在Spark Streaming的依赖配置上。

内容的提问来源于stack exchange，提问作者Tarek B