Hive执行insert时报MapRedTask返回-101及NoSuchMethodError异常
报错根本成因
- 该报错和你执行的
insert into table test values(1,'2231');这条SQL本身没有逻辑关联,错误出现在MapReduce任务向YARN集群提交的前置环节,只要Hive触发MR任务执行,就会在提交阶段抛出同类异常。 - 核心触发原因是Hive运行时的类加载路径中混入了版本不匹配的Hadoop MapReduce依赖jar:
- 从报错栈的依赖来源标注可直接定位错配点:负责提交YARN应用的
YARNRunner类来自hadoop-mapreduce-client-jobclient-3.2.2.jar版本;但运行时实际被加载到的MRApps类,来自版本不对等的hadoop-mapreduce-client-core-3.1.3.jar。 - 方法签名差异:本次报错中找不到的
setEnvFromInputProperty(Map, String, String, Configuration)方法,是Hadoop 3.2.x版本才在MRApps类中新增的方法;Hadoop 3.1.3版本的同路径类中完全不存在这个签名的方法,3.2.2版本的jobclient组件发起调用时,自然会触发NoSuchMethodError。
- 从报错栈的依赖来源标注可直接定位错配点:负责提交YARN应用的
- 常见的触发场景:集群部署时,Hive的lib目录下被手动放入了与
HADOOP_HOME指向的集群版本不一致的Hadoop依赖包,或者启动Hive时手动配置的HADOOP_CLASSPATH混入了其他版本的Hadoop路径,打乱了类加载顺序,最终加载到了跨版本的类对象。
可落地的排查和解决步骤
- 第一步:定位实际错配的jar位置
进入Hive命令行后执行以下命令,确认当前加载的类对应的jar来源:
对比两边目录下的MapReduce相关jar版本,把Hive lib目录下所有和! find $HIVE_HOME/lib -name "hadoop-mapreduce*"; ! find $HADOOP_HOME -name "hadoop-mapreduce*";HADOOP_HOME指向的集群实际版本不一致的jar全部移出lib目录,避免类加载时优先从Hive本地目录读到错配版本。 - 第二步:统一全链路的Hadoop依赖版本
先确认集群实际部署的Hadoop大版本:- 如果集群原生Hadoop版本为3.1.3:就把所有类路径下3.2.2版本的Hadoop common、mapreduce相关jar全部替换为3.1.3版本的配套包,保证
YARNRunner和MRApps两个类来自同版本的Hadoop组件。 - 如果集群原生Hadoop版本为3.2.2:就把类路径下残留的3.1.3版本
hadoop-mapreduce-client-core等相关jar替换为3.2.2版本的对应包,消除版本差。
- 如果集群原生Hadoop版本为3.1.3:就把所有类路径下3.2.2版本的Hadoop common、mapreduce相关jar全部替换为3.1.3版本的配套包,保证
- 第三步:修正类加载顺序配置
检查Hive启动脚本中对HADOOP_CLASSPATH的配置,不要手动追加自定义路径下的Hadoop依赖,默认通过HADOOP_HOME自动关联集群原生的Hadoop类路径即可,避免自定义路径的加载优先级高于系统默认路径,误加载旧版本jar。 - 临时验证方案
如果暂时无法调整依赖版本,可以临时将Hive的执行引擎从MR切换为Tez,绕开当前MapRedTask的提交逻辑快速验证基础功能:set hive.execution.engine=tez;
内容的提问来源于stack exchange,提问作者hong xiao
相关产品推荐
相关产品推荐

