Spark Streaming Context创建报错：ClassNotFoundException问题求助

这个ClassNotFoundException问题的根源非常明确——你的Spark Streaming依赖配置了<scope>provided</scope>，而你是在本地开发环境直接运行代码，这个作用域会导致Maven不会把该依赖加入项目的运行classpath，JVM自然找不到org.apache.spark.streaming.StreamingContext类。

具体问题点 #

看你POM文件里的这段依赖配置：

<dependency>
  <groupId>org.apache.spark</groupId>
  <artifactId>spark-streaming_2.11</artifactId>
  <version>2.1.1</version>
  <scope>provided</scope> <!-- 这里就是问题核心 -->
</dependency>

provided作用域的含义是：该依赖会由程序的运行环境（比如Spark集群的节点）提供，本地开发时Maven不会将其下载到本地仓库，也不会加入项目的运行依赖中，所以本地运行代码时就会触发类找不到的错误。

解决步骤 #

1. 调整依赖作用域：如果你是在本地开发调试，直接删掉spark-streaming_2.11的<scope>provided</scope>（默认作用域就是compile，会自动加入classpath），修改后的依赖如下：

<dependency>
  <groupId>org.apache.spark</groupId>
  <artifactId>spark-streaming_2.11</artifactId>
  <version>2.1.1</version>
</dependency>

2. 刷新Maven依赖：在IDE中执行Maven刷新操作，或者在命令行运行mvn clean install，让Maven重新下载并加载该依赖。
3. 重新运行代码：此时JVM就能正常找到StreamingContext类，应该可以正常启动你的Spark Streaming程序了。

额外注意事项 #

• 当你需要把代码打包提交到Spark集群运行时，记得把spark-streaming和spark-core的依赖改回<scope>provided</scope>，因为集群环境本身已经预装了这些依赖，重复打包会导致jar包体积过大，甚至引发依赖冲突。
• 你的Scala版本（2.11.8）和Spark版本（2.1.1）是完全兼容的（Spark 2.x系列对应Scala 2.11），这部分配置没有问题。

内容的提问来源于stack exchange，提问作者syv