Spark远程连接Hive报错：HiveSessionState实例化失败求助

我之前也碰到过类似的Windows远程连接Hive的踩坑经历，结合你的环境（Scala 2.11.4 + Spark 2.1.1），给你几个针对性的排查和解决方向：

1. 确保Hive配置文件正确加载 #

• 把Hive服务器上的hive-site.xml、core-site.xml、hdfs-site.xml这三个配置文件复制到你的IntelliJ项目的src/main/resources目录下。Spark需要通过这些文件获取Hive元数据存储地址、HDFS路径等关键配置。
• 注意Windows系统的路径转义：如果配置里有本地路径，要使用双反斜杠\\或者正斜杠/，避免转义错误。

2. 验证Hive Metastore服务状态 #

• 先在Hive服务器上检查Metastore进程是否运行：执行ps aux | grep metastore，如果没有找到进程，手动启动Metastore服务：hive --service metastore。
• 确认你的Windows机器能正常访问Metastore的端口（默认是9083）：可以用telnet <服务器IP> 9083或者Test-NetConnection <服务器IP> -Port 9083（PowerShell命令）测试连通性，排除防火墙或网络拦截的问题。

3. 显式配置SparkSession的Hive参数 #

在初始化SparkSession时，手动指定Hive相关的关键配置，避免依赖默认值出错：

import org.apache.spark.sql.SparkSession

object HiveConnector {
  def main(args: Array[String]): Unit = {
    val spark = SparkSession.builder()
      .appName("RemoteHiveConnection")
      .master("local[*]")
      // 指定Hive Metastore的Thrift地址
      .config("hive.metastore.uris", "thrift://<你的Metastore服务器IP>:9083")
      // 指定HDFS上的Hive仓库路径
      .config("spark.sql.warehouse.dir", "hdfs://<HDFS服务器IP>:9000/tmp/hive/warehouse")
      .enableHiveSupport()
      .getOrCreate()

    // 测试连接：执行简单的Hive查询
    spark.sql("show databases").show()
    spark.stop()
  }
}

4. 解决Windows环境的Hadoop依赖问题 #

Spark在Windows下运行需要依赖Hadoop的winutils工具，步骤如下：

• 下载与Spark 2.1.1兼容的Hadoop 2.7.x版本的winutils.exe（注意版本匹配，不匹配会导致权限或IO错误）。
• 创建一个HADOOP_HOME环境变量，指向存放winutils的目录（比如C:\hadoop-2.7.7），并将%HADOOP_HOME%\bin添加到系统PATH中。

5. 补充权限检查 #

• 除了/tmp/hive/warehouse，还要确认HDFS上的/tmp目录权限：执行hdfs dfs -ls /tmp查看权限，若用户xyz没有读写权限，可临时执行hdfs dfs -chmod 777 /tmp测试（生产环境建议更严格的权限设置）。
• 检查Hive Metastore后端数据库（比如MySQL）的账号权限：确保连接Metastore的数据库账号拥有元数据的读写权限。

内容的提问来源于stack exchange，提问作者Ponns