如何在IntelliJ项目中添加Hive与Hadoop Jar包？

报错信息 #

ClassNotFound java.lang.NoClassDefFoundError: Could not initialize class org.apache.hadoop.hive.ql.exec.Utilities when creating Hive client using classpath:
Please make sure that jars for your version of hive and hadoop are included in the paths passed to spark.sql.hive.metastore.jars.

具体配置步骤 #

方法1：通过构建工具依赖管理添加（推荐） #

如果项目使用Maven或Gradle，直接在构建文件中添加对应版本的Hive和Hadoop依赖：

• Maven：在pom.xml中加入

<dependencies>
    <!-- Hive Metastore核心依赖 -->
    <dependency>
        <groupId>org.apache.hive</groupId>
        <artifactId>hive-metastore</artifactId>
        <version>你的Hive版本号</version>
        <scope>test</scope>
    </dependency>
    <!-- Hadoop Common依赖 -->
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-common</artifactId>
        <version>你的Hadoop版本号</version>
        <scope>test</scope>
    </dependency>
    <!-- 按需添加：Hive Exec依赖，匹配报错类所在包 -->
    <dependency>
        <groupId>org.apache.hive</groupId>
        <artifactId>hive-exec</artifactId>
        <version>你的Hive版本号</version>
        <scope>test</scope>
    </dependency>
</dependencies>

• Gradle：在build.gradle中加入

dependencies {
    testImplementation 'org.apache.hive:hive-metastore:你的Hive版本号'
    testImplementation 'org.apache.hadoop:hadoop-common:你的Hadoop版本号'
    testImplementation 'org.apache.hive:hive-exec:你的Hive版本号' // 按需添加
}

添加后刷新构建工具（Maven点击Reload，Gradle点击Refresh），自动下载依赖到本地仓库。

方法2：手动添加本地Jar包到IntelliJ #

终端Hive可正常运行说明本地已有对应Jar包，可手动导入：

1. 打开IntelliJ项目结构（快捷键Ctrl+Alt+Shift+S）
2. 左侧选择Libraries，点击顶部+号选择Java
3. 导航到本地Hive安装目录的lib文件夹（如/usr/local/hive/lib），选中所有Hive相关Jar包；再导航到Hadoop安装目录的lib文件夹，选中Hadoop核心Jar包
4. 进入Modules页面，将添加的库关联到测试模块，确保Test范围已勾选
5. 重启IntelliJ后重新运行单元测试

方法3：配置SparkSession参数 #

在单元测试的SparkSession初始化代码中，指定Hive Metastore的Jar包路径：

import org.apache.spark.sql.SparkSession

val spark = SparkSession.builder()
    .master("local[*]")
    .appName("HiveTest")
    .config("spark.sql.hive.metastore.jars", "path/to/hive/lib/*,path/to/hadoop/lib/*") // 替换为本地实际路径
    .enableHiveSupport()
    .getOrCreate()

路径需与本地Hive、Hadoop安装目录的lib文件夹一致，多路径用逗号分隔。

内容的提问来源于stack exchange，提问作者sdgaw erzswer