使用Oozie Workflow执行Spark任务时遇NoSuchMethodError错误求助

这个问题我之前帮同事排查过，本质是Scala版本冲突搞的鬼——Oozie运行环境自带的Scala库和你用的Scala 2.11.8不匹配，导致Spark应用调用的方法在旧版本Scala里找不到，才抛出了java.lang.NoSuchMethodError错误。下面是具体的解决步骤：

• 第一步：清理Oozie自带的旧Scala依赖
  去Oozie安装目录下的share/lib/spark或者share/lib/oozie文件夹里看看，有没有scala-library-2.10.x这类旧版本的jar包。如果有的话，把它们移到一个备份目录里，别让Oozie加载这些旧依赖。

• 第二步：强制让Spark优先使用应用指定的类路径
  在Oozie的workflow.xml的Spark Action里，添加以下配置，强制Spark驱动和executor优先加载你应用的类路径，而不是Oozie提供的：

  <action name="spark-action">
    <spark xmlns="uri:oozie:spark-action:0.2">
      <!-- 其他配置比如master、name、jar路径等 -->
      <configuration>
          <property>
              <name>spark.driver.userClassPathFirst</name>
              <value>true</value>
          </property>
          <property>
              <name>spark.executor.userClassPathFirst</name>
              <value>true</value>
          </property>
      </configuration>
    </spark>
    <ok to="end"/>
    <error to="fail"/>
  </action>
  

  如果是用spark-submit命令触发的话，直接加这两个conf参数就行：

  spark-submit --conf spark.driver.userClassPathFirst=true --conf spark.executor.userClassPathFirst=true ...
  

• 第三步：打包时排除Scala核心库（推荐操作）
  用SBT或者Maven打包Spark应用时，把scala-library设置为provided scope，避免把Scala库打包进你的应用jar里，减少冲突概率：

  • SBT配置示例：

    libraryDependencies += "org.scala-lang" % "scala-library" % "2.11.8" % Provided
    

  • Maven配置示例：

    <dependency>
        <groupId>org.scala-lang</groupId>
        <artifactId>scala-library</artifactId>
        <version>2.11.8</version>
        <scope>provided</scope>
    </dependency>
    

• 第四步：检查Oozie的系统库路径配置
  确认Oozie的oozie-site.xml里的oozie.use.system.libpath参数设置为true，这样Oozie会优先使用你配置的Spark依赖路径，而不是自带的旧库。

为啥会出现这个问题？ #

Spark 2.1.0是基于Scala 2.11编译的，但Oozie默认可能自带了Scala 2.10的库。当Oozie启动Spark任务时，会先加载自己的Scala库，导致你的应用调用的scala.runtime.ObjectRef.create方法在旧版本Scala里不存在，就抛出了这个错误。

内容的提问来源于stack exchange，提问作者Vysh