Ambari2.6+HDP2.6.4环境下Oozie运行Spark2动作失败求助

这个NoSuchMethodError本质是Hadoop类版本冲突导致的——org.apache.hadoop.util.StringUtils.toLowerCase(String)这个方法在不同Hadoop版本中签名或存在性有变化，你的YARN任务尝试加载了不兼容的hadoop-common.jar，导致找不到对应方法。结合你已经做过共享库配置和重复jar清理的操作，给你几个针对性的排查和解决步骤：

1. 确认Spark2共享库的Hadoop jar版本完全匹配集群 #

HDP2.6.4对应的Hadoop版本是2.7.3，你需要确保Spark2共享库（默认路径/user/spark2/share/lib）里的所有hadoop-* jar都是这个版本：

• 进入共享库目录，挑出hadoop-common.jar，执行以下命令查看版本：

  jar -xf hadoop-common.jar && cat META-INF/MANIFEST.MF | grep Implementation-Version
  

• 如果发现版本不是2.7.3，替换成HDP集群自带的/usr/hdp/2.6.4.0-91/hadoop/hadoop-common.jar（路径根据你的HDP版本微调），然后重新同步共享库。

2. 彻底排查残留的重复冲突jar #

有时候手动删除重复jar可能会有遗漏，建议用命令全量扫描Oozie和Spark2的核心目录：

find /usr/hdp/current/oozie-server /usr/hdp/current/spark2-client -name "hadoop-common*.jar"

• 对每个找到的jar，都用上面的方法检查版本，只保留HDP2.6.4对应的2.7.3版本，其他版本直接删除。
• 特别注意Oozie的libext目录，有时候第三方依赖包会自带旧版Hadoop jar，一定要清理干净。

3. 强制YARN容器使用集群系统类路径优先 #

偶发问题可能是部分作业提交时自定义了类路径，导致用户jar覆盖了集群的系统jar。在Spark作业提交时添加以下配置，强制集群系统类加载优先：

spark-submit \
  --conf spark.driver.userClassPathFirst=false \
  --conf spark.executor.userClassPathFirst=false \
  # 其他作业参数

如果是通过Oozie调度Spark作业，在workflow的spark2 action里添加这些配置：

<configuration>
  <property>
    <name>spark.driver.userClassPathFirst</name>
    <value>false</value>
  </property>
  <property>
    <name>spark.executor.userClassPathFirst</name>
    <value>false</value>
  </property>
</configuration>

4. 检查Ambari中Spark2的全局配置 #

登录Ambari的Spark2配置页面，做两个检查：

• 确认spark.yarn.jars配置指向的是集群统一的Spark2 jar包路径（比如hdfs:///user/spark2/jars/*），不要手动指定包含自定义Hadoop jar的路径。
• 检查spark.driver.extraClassPath和spark.executor.extraClassPath是否有手动添加的Hadoop相关jar路径，如果有，建议移除，让Ambari自动管理集群类路径。

5. 偶发场景的日志排查 #

如果错误还是偶发，开启YARN日志聚合后，找到出错任务的容器日志，搜索hadoop-common相关的类加载日志（比如Loaded from:），确认是哪个jar包被加载了——通常能定位到某个作业提交时携带的外部依赖jar导致了冲突，针对性地移除该依赖即可。

内容的提问来源于stack exchange，提问作者disorderdev