如何排查Apache Zeppelin中Spark解释器的依赖冲突问题？

你遇到的这种随机启动失败、库无法访问甚至NPE的问题，十有八九是JAR包冲突导致的——Zeppelin的Spark解释器本身绑定了特定版本的Spark、Hadoop等依赖，当你添加的外部库自带了这些依赖的不同版本时，类加载器就会出现混乱，时而加载到正确的类，时而加载到冲突的版本，就会表现出这种时好时坏的诡异现象。结合你给出的NPE报错（SparkInterpreter.java:821），这个位置通常是SparkSession初始化阶段，大概率是某个核心依赖类加载异常导致对象为null触发的。

下面是一步步的排查和解决方案：

1. 定位冲突的JAR包 #

首先得搞清楚到底是哪个依赖在搞事情：

• 查看Zeppelin的Spark解释器日志：日志文件一般在ZEPPELIN_HOME/logs目录下，找包含spark关键字的日志，里面会有更详细的类加载报错（可能被NPE掩盖了）。
• 启用类加载日志：在Zeppelin的Spark解释器设置里，添加spark.driver.extraJavaOptions=-verbose:class参数，重启解释器后，日志会输出每个类的加载来源，对比哪些类被多个JAR重复加载。
• 检查外部库的依赖：如果你的外部库是Maven/Gradle构建的，用mvn dependency:tree（Maven）或gradle dependencies（Gradle）查看它的依赖树，对比Zeppelin Spark解释器自带的依赖版本（可以去ZEPPELIN_HOME/interpreter/spark/lib下看JAR的版本号）。

2. 排除冲突依赖 #

找到冲突点后，针对性排除：

• 如果是自己开发的库：在构建脚本里排除和Zeppelin Spark重复的依赖。比如Maven中：

  <dependency>
      <groupId>your.group.id</groupId>
      <artifactId>your-library</artifactId>
      <version>1.0.0</version>
      <exclusions>
          <!-- 排除和Zeppelin冲突的Spark核心依赖 -->
          <exclusion>
              <groupId>org.apache.spark</groupId>
              <artifactId>spark-core_2.12</artifactId>
          </exclusion>
          <exclusion>
              <groupId>org.apache.spark</groupId>
              <artifactId>spark-sql_2.12</artifactId>
          </exclusion>
          <!-- 按需排除其他冲突依赖，比如hadoop-client等 -->
      </exclusions>
  </dependency>
  

• 如果是第三方现成JAR：用工具（比如JD-GUI查看JAR内容，ProGuard精简JAR）删除JAR中包含的冲突依赖包，重新打包后再添加到Zeppelin。

3. 调整解释器类加载顺序 #

Zeppelin的Spark解释器默认会优先加载自身的Spark依赖，但有时候配置会被修改：

• 在Zeppelin的Spark解释器设置中，确保spark.driver.userClassPathFirst设置为false（默认值），这样系统会优先加载Spark官方的类，避免外部库的类覆盖核心类。
• 如果需要自定义加载顺序，可以调整spark.driver.extraClassPath，把Zeppelin自带的Spark依赖路径放在前面，你的外部库放在后面。

4. 清理缓存避免残留 #

每次修改JAR或配置后，一定要清理缓存：

• 删除ZEPPELIN_HOME/interpreter/spark目录下的缓存文件（比如interpreter-setting.json和临时缓存文件夹）。
• 完全重启Zeppelin服务和Spark解释器，确保旧的冲突JAR不会被重复加载。

额外注意事项 #

• 确保外部库的Scala版本和Zeppelin使用的Spark版本匹配：比如Spark 3.x一般用Scala 2.12，你的库必须是基于Scala 2.12编译的，否则会出现类不兼容问题。
• 逐个添加外部库测试：不要一次性加一堆库，每次加一个就测试解释器是否正常，这样能快速定位到有问题的库。

内容的提问来源于stack exchange，提问作者hugomau