Hive 3.1.2配置Spark 3.1.1为引擎时报NoClassDefFoundError如何解决

• 依赖缺失：报错提示找不到的org.apache.spark.unsafe.array.ByteArrayMethods类属于spark-unsafe包，你此前仅软链了3个Spark相关jar到Hive lib目录，未包含该jar，导致类加载失败。
• 版本兼容隐患：你使用的预编译Spark 3.1.1内置Hive依赖版本为2.3.0，与部署的Hive 3.1.2版本不一致，即使补全当前缺失依赖，后续也可能出现类冲突、功能异常等问题。

方案1：临时修复当前报错 #

补全缺失的spark-unsafe包软链即可解决当前错误：

sudo ln -s $SPARK_HOME/jars/spark-unsafe_2.12-3.1.1.jar $HIVE_HOME/lib/spark-unsafe_2.12-3.1.1.jar

软链完成后重启Hive服务，执行以下SQL测试即可：

set hive.execution.engine=spark;

如果执行后仍提示其他类找不到，可按照相同逻辑将对应Spark jars目录下的依赖包软链到Hive lib目录，常见需要补充的包还包括spark-launcher、spark-sql、spark-hive、spark-catalyst等。

方案2：彻底解决版本兼容问题（生产环境推荐） #

重新编译适配Hive 3.1.2版本的Spark安装包，从根源规避版本冲突问题：

1. 下载Spark 3.1.1官方源码包
2. 进入源码根目录执行编译命令，指定对应组件版本：

./build/mvn -Pyarn -Phadoop-3.2 -Phive-3.1 -Phive-thriftserver -Dhadoop.version=3.2.2 -Dhive.version=3.1.2 -DskipTests clean package

3. 编译完成后替换原有预编译Spark安装包，重新配置Hive侧的Spark依赖软链即可。

替代方案 #

如果不想编译源码，可直接将Hive 3.1.2安装包lib目录下的所有Hive相关jar，复制到Spark的jars目录，删除Spark内置的2.3.0版本Hive相关jar，避免类加载冲突。

内容的提问来源于stack exchange，提问作者Mohamed Ali