在Hadoop分布式集群执行MapReduce任务时遇NoSuchMethodError错误求助

错误信息 #

java.lang.NoSuchMethodError: org/apache/hadoop/mapreduce/util/MRJobConfUtil.setTaskLogProgressDeltaThresholds(Lorg/apache/hadoop/conf/Configuration;)V (loaded from file:/data/hadoop/yarn/usercache/hdfs-user/appcache/application_1671477750397_2609/filecache/11/job.jar/job.jar by sun.misc.Launcher$AppClassLoader@8bf41861) called from class org.apache.hadoop.mapred.TaskAttemptListenerImpl

问题原因 #

这个错误属于依赖版本不兼容：你的任务Jar包中打包的Hadoop MapReduce相关类，与集群运行的Hadoop版本不一致。集群侧的TaskAttemptListenerImpl类尝试调用MRJobConfUtil.setTaskLogProgressDeltaThresholds方法，但你的Jar包里的MRJobConfUtil类不存在该方法，说明Jar包的Hadoop版本低于集群版本，或者版本差异导致方法定义不匹配。

解决步骤 #

• 确认集群Hadoop版本：执行命令 hadoop version 获取集群运行的Hadoop具体版本号。
• 调整依赖范围：在任务构建配置（如Maven、Gradle）中，将Hadoop MapReduce、Common等核心依赖的范围设置为provided，这样打包时不会将集群已存在的Hadoop依赖打入Jar包，避免冲突。
  示例Maven配置：

  <dependency>
      <groupId>org.apache.hadoop</groupId>
      <artifactId>hadoop-mapreduce-client-core</artifactId>
      <version>集群对应版本号</version>
      <scope>provided</scope>
  </dependency>
  

• 重新打包任务：生成不包含Hadoop核心依赖的新Jar包，仅保留业务代码和无冲突的第三方依赖。
• 重新提交任务：使用新Jar包提交MapReduce任务，验证错误是否消除。

额外提示 #

如果因特殊需求必须打包部分Hadoop依赖，务必保证依赖版本与集群版本完全一致，不能存在任何版本偏差。

内容的提问来源于stack exchange，提问作者Sitakant Mishra