HDInsight集群PySpark访问Hive仅显示default数据库的其他方案咨询

你遇到的问题本质是Spark默认使用了内置的InMemory Catalog，没有正确对接HDInsight集群的独立Hive Metastore，除了Hive Warehouse Connector之外，还有以下三种可行的实现方案：

方案1：直接加载HDInsight集群的Hive配置文件（优先推荐） #

该方案无需修改作业代码，稳定性最高，操作步骤如下：

• 找到HDInsight集群上的hive-site.xml文件，默认路径为/etc/hive/conf目录
• 将该文件拷贝到提交Spark作业节点的Spark配置目录，默认路径为/etc/spark/conf
• 代码中无需手动配置hive.metastore.uris和spark.sql.warehouse.dir，仅保留enableHiveSupport()即可，修改后的代码示例：

from pyspark.sql import SparkSession

spark = SparkSession \
    .builder \
    .appName("Python Spark SQL Hive integration example") \
    .enableHiveSupport() \
    .getOrCreate()
spark.sql("show databases").show()

• 原理是Spark启动时会自动读取classpath下的hive-site.xml，加载内部预配置的Metastore地址、仓库路径、认证规则等所有Hive参数，避免手动配置遗漏。

方案2：显式指定Hive Catalog实现 #

如果不方便修改集群配置，可以直接在代码中强制指定Spark使用Hive Catalog，跳过内置Catalog，修改后的代码示例：

spark = SparkSession \
    .builder \
    .appName("Python Spark SQL Hive integration example") \
    .config("hive.metastore.uris", "thrift://hn0-mytestua.abc.dxbx.internal.cloudapp.net:9083") \
    .config("spark.sql.warehouse.dir", '/hive/warehouse/external') \
    # 新增配置，强制使用Hive Catalog而非内置的内存Catalog
    .config("spark.sql.catalogImplementation", "hive") \
    .enableHiveSupport() \
    .getOrCreate()
spark.sql("show databases").show()

• 该方案适合快速测试场景，只要Spark节点到Hive Metastore的9083端口网络连通即可正常读取全量Hive数据库。

方案3：补全Metastore版本兼容配置 #

如果执行上述方案仍出现版本兼容报错，可以补充Hive Metastore的版本和依赖配置：

spark = SparkSession \
    .builder \
    .appName("Python Spark SQL Hive integration example") \
    .config("hive.metastore.uris", "thrift://hn0-mytestua.abc.dxbx.internal.cloudapp.net:9083") \
    .config("spark.sql.warehouse.dir", '/hive/warehouse/external') \
    .config("spark.sql.catalogImplementation", "hive") \
    # 替换为集群实际的Hive版本，HDInsight常见版本为2.3.9、3.1.2
    .config("spark.sql.hive.metastore.version", "3.1.2") \
    # 替换为集群实际Hive依赖包的存放路径
    .config("spark.sql.hive.metastore.jars", "/etc/hive/lib/*") \
    .enableHiveSupport() \
    .getOrCreate()
spark.sql("show databases").show()

注意如果是HDInsight ESP（企业安全包）集群，还需要额外补充Kerberos认证相关的配置参数。

内容的提问来源于stack exchange，提问作者user7422128