Spark-shell无法访问Hive MetaStore元数据问题求助

前置验证项 #

• 首先确认Hive Metastore服务已正常启动，在hadoop102节点执行jps命令能看到RunJar进程（对应metastore服务），同时执行ss -nltp | grep 9083确认9083端口处于监听状态，且节点防火墙未禁止该端口访问。
• 确认Hive侧已创建非default库、非临时表，排除本身无用户自定义表的情况。

具体排查步骤 #

1. 配置文件完整性校验 #

将Hadoop配置目录下的core-site.xml、hdfs-site.xml一并拷贝到${SPARK_HOME}/conf目录，仅拷贝hive-site.xml会导致Spark无法识别HDFS路径，进而无法读取Hive元数据对应的仓库地址。
同时确认${SPARK_HOME}/conf下所有配置文件的读取权限，Spark运行用户需具备至少可读权限。

2. 强制指定Hive Catalog启动验证 #

启动spark-shell时添加参数强制使用Hive元数据目录：

spark-shell --conf spark.sql.catalogImplementation=hive

启动后执行以下命令验证配置是否生效：

spark.conf.get("spark.sql.catalogImplementation")

若返回结果为in-memory，说明Spark未成功加载Hive配置，需检查配置文件路径是否正确、是否存在语法错误。

3. 依赖包校验 #

你使用的是无Hadoop依赖的Spark发行版，做以下调整：

• 将mysql-connector-java-5.1.48.jar直接放到${SPARK_HOME}/jars目录下，删除spark-default.conf中spark.executor.extraClassPath、spark.driver.extraClassPath的配置，避免路径识别异常。
• 检查${SPARK_HOME}/jars下的hive-metastorejar包版本，需和Hive 2.3.7版本兼容，若版本差异过大，替换为和Hive同版本的hive-metastorejar包。

4. 精简Hive配置避免冲突 #

你当前使用远程Metastore模式，Spark只需通过thrift接口连接Metastore服务，无需直接访问元数据库，可删除hive-site.xml中所有javax.jdo.option开头的数据库连接配置，仅保留hive.metastore.uris等核心配置，避免多配置冲突。

5. 权限校验 #

检查HDFS路径/user/hive/warehouse的权限，Spark运行用户需具备该路径的读权限，可通过以下命令调整权限：

hdfs dfs -chmod -R 755 /user/hive/warehouse

日志排查 #

如果以上步骤都无法解决，查看spark-shell启动时的控制台日志，检索WARN、ERROR级别的报错信息，重点关注是否有Metastore连接失败、元数据加载异常的报错，可直接定位根因。

内容的提问来源于stack exchange，提问作者Daniel Hoover