集群运行Spark作业时遇BoneCP插件未找到及Hive元存储实例化错误

从你提供的异常日志和Maven依赖来看，这个问题的核心是Hive Metastore连接池组件BoneCP缺失，导致无法实例化SessionHiveMetaStoreClient，进而触发java.lang.RuntimeException。下面是具体的分析和解决方案：

问题根源分析 #

Hive 1.1版本默认使用BoneCP作为Metastore的数据库连接池，你的Maven依赖配置中完全没有引入BoneCP相关包。当Spark尝试初始化Hive MetaStore客户端时，找不到必要的连接池类，就会抛出实例化失败的异常。

另外，虽然你的日志被截断了，但这类异常的底层通常会伴随ClassNotFoundException: com.jolbox.bonecp.BoneCPDataSource之类的错误，进一步验证了依赖缺失的问题。

解决方案 #

1. 添加BoneCP Maven依赖 #

在你的pom.xml中加入BoneCP的依赖，注意版本要和Cloudera集群的环境匹配（如果是Cloudera定制版本，需要使用带Cloudera后缀的版本）：

<dependency>
    <groupId>com.jolbox</groupId>
    <artifactId>bonecp</artifactId>
    <!-- 根据Cloudera环境调整版本，0.8.0.RELEASE是通用稳定版 -->
    <version>0.8.0.RELEASE-${cloudera.version.id}</version>
    <scope>runtime</scope>
</dependency>

如果不确定Cloudera对应的版本，可以查看集群中Hive安装目录下的lib文件夹，找到bonecp-*.jar的版本号，保持一致即可。

2. 验证Hive Metastore配置 #

确保你的作业能正确加载集群的hive-site.xml配置，重点检查以下参数是否正确：

• javax.jdo.option.ConnectionURL：Metastore数据库的JDBC连接地址
• javax.jdo.option.ConnectionDriverName：数据库驱动类（比如MySQL是com.mysql.jdbc.Driver）
• javax.jdo.option.ConnectionUserName：数据库用户名
• javax.jdo.option.ConnectionPassword：数据库密码

同时确认集群上的Hive Metastore服务处于正常运行状态，可以通过hive --service metastore命令手动启动验证。

3. 确保依赖正确打包/加载 #

如果使用spark-submit提交作业，有两种方式确保BoneCP依赖被加载：

• 将BoneCP jar包包含在作业的fat jar中（通过Maven的maven-shade-plugin或assembly-plugin打包）
• 通过--jars参数指定BoneCP jar包的路径，比如：

spark-submit --jars /path/to/bonecp-0.8.0.RELEASE.jar --class your.main.Class your-jar-file.jar

4. 排查依赖冲突 #

检查你的依赖中是否存在其他数据库连接池组件（比如HikariCP、C3P0），这些组件可能和BoneCP存在类冲突，导致ClassLoader无法正确加载BoneCP的类。如果有冲突，可以通过<exclusions>标签排除不需要的连接池依赖。

内容的提问来源于stack exchange，提问作者user7481861