Hive 2.3.9兼容Spark版本及部署报错解决方案咨询

1. Hive 2.3.9对应的兼容Spark版本 #

Hive 2.3.x系列官方推荐的兼容Spark版本是Spark 2.3.x到2.4.x，其中Spark 2.4.8是经过大量生产环境验证的稳定匹配版本，能确保两者核心功能（如Spark作为Hive执行引擎的SQL解析、UDF调用、数据读写）无兼容性问题。

2. Hive与Spark可用兼容版本组合 #

结合生产环境实践，常用的稳定兼容组合如下：

• Hive 1.2.x ↔ Spark 1.6.x：适配Hadoop 2.6.x/2.7.x，适合老版本生态迁移
• Hive 2.1.x/2.2.x ↔ Spark 2.1.x/2.2.x：适配Hadoop 2.7.x，过渡阶段常用组合
• Hive 2.3.x ↔ Spark 2.3.x/2.4.x：适配Hadoop 2.7.x/2.8.x，目前中小企业生产环境主流组合
• Hive 3.1.x/3.2.x ↔ Spark 3.0.x/3.1.x：适配Hadoop 3.x，面向大数据生态升级场景

注意：搭配时需同步保证Hadoop版本与Hive/Spark的兼容性，比如Hive 2.3.x不能搭配Hadoop 3.x（部分功能会出现异常）。

3. 报错Caused by: java.lang.NoSuchFieldError: SPARK_RPC_SERVER_ADDRESS的解决方法 #

这个错误本质是Spark与Hive的依赖jar包版本冲突，导致代码运行时找不到对应常量字段，解决步骤如下：

• 版本对齐：立即确认当前Spark与Hive版本是否属于上述兼容组合，若版本不匹配，直接替换为兼容版本（比如Hive 2.3.9搭配Spark 2.4.8）
• 清理冲突jar包：检查Hive安装目录下lib/文件夹中的Spark相关jar（如spark-core_*.jar、spark-sql_*.jar），删除与当前Spark版本不一致的jar包；同时检查Spark安装目录下jars/中的Hive相关jar，确保版本与Hive一致
• 配置参数校验：在Spark的conf/spark-defaults.conf中添加或修正以下配置：

  spark.sql.hive.metastore.version=2.3.9
  spark.sql.hive.metastore.jars=hive
  

  确保spark.sql.hive.metastore.version与Hive版本完全一致，spark.sql.hive.metastore.jars指定使用Hive自带的jar包避免冲突
• 重新编译（可选）：若你是自行编译Hive，需在编译时指定正确的Spark版本参数，比如：

  mvn clean package -DskipTests -Pdist -Dspark.version=2.4.8
  

内容的提问来源于stack exchange，提问作者umair