Spark Standalone集群中Hive执行查询遇NoSuchFieldError问题求助

问题根源 #

该错误由Hive与Spark版本不兼容引发：SPARK_RPC_SERVER_ADDRESS是Spark早期版本的RPC配置常量，后续版本中该字段被移除或重命名，但当前使用的Hive版本的Spark客户端代码仍在引用这个已不存在的字段。

解决步骤 #

1. 对齐Hive与Spark的兼容版本 #

Hive对Spark版本有严格的兼容性要求，必须使用官方认证的版本组合：

• Hive 2.3.x 适配 Spark 2.3.x
• Hive 3.1.x 适配 Spark 2.4.x 或 3.1.x
• 优先选择同大版本的组合，避免跨大版本搭配

2. 修正Hive配置文件 #

编辑Hive的hive-site.xml配置文件，确保Spark相关配置正确指向集群和对应版本：

<property>
  <name>hive.execution.engine</name>
  <value>spark</value>
</property>
<property>
  <name>spark.master</name>
  <value>spark://你的Master节点IP:7077</value>
</property>
<property>
  <name>hive.spark.client.version</name>
  <value>你的Spark集群版本号</value>
</property>

3. 替换Hive中的Spark依赖包 #

检查Hive安装目录下lib文件夹中的Spark相关jar包，替换为当前Spark集群使用的对应版本：

• 删除Hive/lib下旧的spark-*.jar、hive-spark-client-*.jar文件
• 从Spark安装目录的jars文件夹中，复制核心依赖包（如spark-core、spark-network-common、spark-sql等）到Hive/lib目录

4. 重启相关服务 #

修改配置和替换jar包后，需要重启服务确保生效：

• 重启HiveMetastore和HiveServer2服务
• 重启Spark Master和所有Worker节点

5. 验证效果 #

提交简单的Hive查询测试：

SELECT COUNT(*) FROM 你的测试表;

通过Spark Master的Web UI（默认地址http://Master节点IP:8080）查看任务是否正常分配到Worker节点执行。

内容的提问来源于stack exchange，提问作者asukhwal9