Hive配置Spark执行引擎报NoClassDefFoundError: org/apache/spark/AccumulatorParam错误

• 核心原因是Hive与Spark版本API不兼容：org.apache.spark.AccumulatorParam是Spark 1.x版本的累加器API，在Spark 2.0版本被标记为废弃，Spark 2.2及之后的版本完全移除了该类，统一使用AccumulatorV2替代。
• 你使用的Hive 3.1.2、Hive 2.3.8版本的Spark执行引擎模块，底层代码都是基于Spark 1.x的API开发的，调用了已被Spark 3.1.1移除的AccumulatorParam类，所以触发类找不到异常。

方案1：降级Spark版本（最便捷） #

将Spark版本降级到2.1.x及以下版本（如2.1.3），该版本还保留了AccumulatorParam类，可以直接适配Hive 2.3.x、3.1.x版本的Spark执行引擎，无需修改任何代码。

方案2：给Hive打适配补丁（适合必须用Spark3的场景） #

修改Hive源码中SparkCounterGroup等调用旧累加器API的相关代码，替换为Spark 3.x支持的AccumulatorV2接口实现，重新编译Hive的hive-spark-client等相关模块，用新编译的jar包替换Hive lib目录下的原有对应jar包即可。如果使用第三方Hadoop发行版，可直接下载对应厂商适配好Spark3的Hive补丁包替换。

方案3：临时切换执行引擎（应急场景） #

如果不需要强制使用Spark作为执行引擎，可临时切回MapReduce或者Tez引擎，执行以下命令即可生效：

set hive.execution.engine=mr;

确认配置无误：

• Hive的hive-site.xml中spark.home配置项指向正确的Spark安装路径
• Spark的依赖jar包已经同步到Hive的auxlib目录，或者在Hive启动时加载了Spark的依赖，避免出现其他类缺失问题

内容的提问来源于stack exchange，提问作者Kaustuv