SparkSession无法连接Hive数据库，求配置方案及问题原因

你的SparkSession无法连接Hive，核心原因是Spark Shell启动时会自动加载Hive的配置文件并初始化相关上下文，而你手动创建的SparkSession缺少必要的Hive配置参数，或者Hive的配置文件不在你的应用程序的classpath中。

Spark Shell默认会读取HADOOP_CONF_DIR或SPARK_CONF_DIR下的hive-site.xml、core-site.xml等配置文件，自动配置Hive元数据存储的地址（比如MySQL/PostgreSQL等），而你当前的代码只调用了enableHiveSupport()，但没有指定这些关键配置，导致Spark默认使用嵌入式的Derby数据库作为元存储，而非你实际使用的Hive元数据服务。

你可以通过以下几种方式配置SparkSession，实现和Spark Shell一致的Hive连接：

1. 确保配置文件在Classpath中 #

将Hive的hive-site.xml、Hadoop的core-site.xml、hdfs-site.xml复制到你的Spark应用的conf目录下，或者通过--jars、--files参数在提交应用时指定这些文件：

spark-submit --files /path/to/hive-site.xml,/path/to/core-site.xml your_app.py

2. 在代码中显式指定Hive元数据配置 #

如果无法直接放置配置文件，可以在SparkSession构建时显式设置Hive元数据的相关参数：

from pyspark.sql import SparkSession

spark = SparkSession \
    .builder \
    .enableHiveSupport() \
    .config("hive.metastore.uris", "thrift://<your-hive-metastore-host>:9083")  # 替换为你的Hive元存储地址
    .config("spark.sql.warehouse.dir", "hdfs://<your-hdfs-host>:9000/user/hive/warehouse")  # 替换为Hive仓库的HDFS路径
    .getOrCreate()

• hive.metastore.uris：指定Hive元数据服务的Thrift地址，这是连接外部Hive元存储的关键参数
• spark.sql.warehouse.dir：指定Hive数据仓库在HDFS上的存储路径，确保Spark能访问到Hive的表数据

3. 继承Spark Shell的环境变量 #

在运行你的Python脚本前，设置和Spark Shell相同的环境变量，比如：

export HADOOP_CONF_DIR=/path/to/hadoop/conf
export SPARK_CONF_DIR=/path/to/spark/conf
python your_app.py

这样Spark会自动读取这些目录下的Hive配置文件，和Spark Shell的行为保持一致。

创建SparkSession后，可以执行以下命令验证是否连接到正确的Hive：

spark.sql("show databases").show()

如果能列出你Hive中的数据库，说明配置成功。

内容的提问来源于stack exchange，提问作者user26565178