Spark Streaming集成Kafka报NoClassDefFoundError求助（非重复提问）

我已经尝试过同类话题下的所有解决方案，但都没有效果，所以这绝对不是重复提问。

我现在正在运行一个基于Spark、Spark Streaming和Kafka的Java示例应用，已经添加了必要的依赖，比如：

<dependencies>
    <dependency>
        <groupId>org.scala-lang</groupId>
        <artifactId>scala-library</artifactId>
        <version>2.11.12</version>
    </dependency>
    <!-- 其他依赖省略 -->
</dependencies>

但运行时抛出了这个异常：

Exception in thread "main" java.lang.NoClassDefFoundError: org.apache.spark.streaming.kafka010.LocationStrategies

这个错误我之前也碰到过，大概率是依赖相关的问题，给你几个具体的排查和解决步骤：

• 先补上Spark Streaming-Kafka的核心依赖
  你贴出来的依赖里只有scala-library，完全没看到Spark和Kafka集成的关键包——spark-streaming-kafka-0-10，这就是找不到LocationStrategies类的直接原因。赶紧在pom.xml里加上这个依赖：

  <dependency>
      <groupId>org.apache.spark</groupId>
      <artifactId>spark-streaming-kafka-0-10_2.11</artifactId>
      <version>你的Spark版本号</version>
  </dependency>
  

  注意两点：一是_2.11要和你用的scala-library版本（2.11.x）完全匹配；二是这个依赖的版本必须和你项目里Spark Core、Spark Streaming的版本保持一致，比如你用Spark 2.4.5，这里就写2.4.5，版本不匹配也会出问题。

• 检查依赖的scope是否设置错了
  如果你给这个依赖加了scope="provided"，那本地运行的时候（比如在IDEA里直接启动），Maven不会把这个包打包到运行环境里——因为provided是给集群环境用的，集群的Spark已经自带这个包了，但本地没有，自然就找不到类。所以本地调试的时候，要么去掉这个scope，要么单独给本地运行的配置调整依赖。

• 排查依赖冲突
  有时候哪怕你加了依赖，也可能因为其他依赖引入了不同版本的spark-streaming-kafka包，导致类加载冲突。你可以用Maven命令生成依赖树看看：

  mvn dependency:tree
  

  仔细找一找有没有不同版本的spark-streaming-kafka或者Spark相关依赖，要是有冲突，就用<exclusions>把冲突的依赖排除掉。

• 打包运行的话，要打胖包
  如果你是把项目打包成jar后再运行，一定要确保把所有依赖都包含进去。普通的jar包只会包含你自己的代码，不会带依赖，所以运行时会找不到类。推荐用Maven的shade插件来构建胖包，配置大概是这样：

  <build>
      <plugins>
          <plugin>
              <groupId>org.apache.maven.plugins</groupId>
              <artifactId>maven-shade-plugin</artifactId>
              <version>3.2.4</version>
              <executions>
                  <execution>
                      <phase>package</phase>
                      <goals>
                          <goal>shade</goal>
                      </goals>
                      <configuration>
                          <transformers>
                              <transformer implementation="org.apache.maven.plugins.shade.resource.ManifestResourceTransformer">
                                  <mainClass>你的主类全限定名</mainClass>
                              </transformer>
                          </transformers>
                      </configuration>
                  </execution>
              </executions>
          </plugin>
      </plugins>
  </build>
  

  打包的时候执行mvn package，生成的shaded jar就是包含所有依赖的，运行这个jar就不会有类找不到的问题了。

内容的提问来源于stack exchange，提问作者GuyTal