Zeppelin集成Livy报错求助：SparkUI.appUIAddress()方法不存在

问题根源 #

你遇到的java.lang.NoSuchMethodException: org.apache.spark.ui.SparkUI.appUIAddress()错误，本质是Zeppelin 0.7.3的Livy解释器与Spark 2.2.1的API不兼容：Spark 2.x版本中，SparkUI类的appUIAddress()方法已被重命名为getAppUIAddress()，但Zeppelin 0.7.3的Livy解释器仍在使用旧的方法名调用，导致反射调用失败。同时，Zeppelin 0.7.3官方仅支持Livy 0.3.x版本，你使用的Livy 0.4.0进一步加剧了版本兼容冲突。

可行解决方案 #

方案一：升级Zeppelin到兼容版本（推荐） #

升级Zeppelin至0.8.0或更高版本，这些版本已经适配了Spark 2.x的API变化，并且官方支持Livy 0.4.x。操作步骤：

1. 停止当前Zeppelin服务：

   zeppelin-daemon.sh stop
   

2. 下载对应版本的Zeppelin（如0.8.2，完美兼容Spark 2.2.x和Livy 0.4.x），解压到目标目录。
3. 迁移原有的配置文件（conf/zeppelin-site.xml、conf/interpreter.json等）到新Zeppelin的conf目录。
4. 启动新Zeppelin服务：

   zeppelin-daemon.sh start
   

5. 重新配置Livy解释器，确保livy.url指向你的Livy服务地址（如http://localhost:8998），保存配置后重启Livy解释器。

方案二：调整Zeppelin依赖，强制使用Spark 2.2.1的Jar包 #

如果暂时无法升级Zeppelin，可以通过修改Livy解释器的依赖配置，让Zeppelin加载Spark 2.2.1的Jar包来覆盖内置的旧版本：

1. 进入Zeppelin的Web UI，点击右上角的Interpreter按钮。
2. 找到livy解释器，点击Edit进入配置页面。
3. 在Dependencies部分，添加Spark 2.2.1的核心依赖包（根据你的Scala版本调整后缀，示例为Scala 2.11）：

   org.apache.spark:spark-core_2.11:2.2.1,org.apache.spark:spark-sql_2.11:2.2.1
   

4. 勾选Exclude选项，排除Zeppelin内置的旧Spark依赖：

   org.apache.spark:spark-core,org.apache.spark:spark-sql
   

5. 点击Save保存配置，然后重启Livy解释器。

方案三：降级Livy到0.3.0版本 #

如果不想升级Zeppelin，也可以将Livy降级到Zeppelin 0.7.3官方支持的0.3.0版本：

1. 停止当前Livy服务：

   livy-server stop
   

2. 下载Livy 0.3.0版本，解压后替换原有部署目录。
3. 重新配置Livy的livy.conf，确保livy.spark.master设置为yarn，并指向正确的Hadoop配置目录。
4. 启动Livy服务：

   livy-server start
   

5. 在Zeppelin中重新配置Livy解释器，验证连接是否正常。

验证操作 #

完成上述任一方案后，执行%livy.spark sc.version命令，如果返回2.2.1则说明集成成功。

内容的提问来源于stack exchange，提问作者Yusata