Spark Submit报错Hive元数据AlreadyExistsException类未找到，如何加载Hive JAR？

问题本质 #

org.apache.hadoop.hive.metastore.api.AlreadyExistsException类找不到，核心原因是Spark执行写入Hive的任务时，无法获取到Hive metastore相关的依赖JAR包，现有配置未让集群节点正确加载这些依赖。

正确的Hive JAR加载方式 #

方式1：Spark Submit命令显式指定依赖 #

在提交命令中通过--jars参数直接指定所需的Hive metastore相关JAR包，HDFS路径需带完整前缀：

spark-submit \
  --master yarn \
  --deploy-mode client \
  --executor-memory 5g \
  --executor-cores 4 \
  --jars hdfs:///spark-jars/hive-metastore-<你的版本号>.jar,hdfs:///spark-jars/hadoop-common-<你的版本号>.jar,hdfs:///spark-jars/hive-exec-<你的版本号>.jar \
  /home/hadoop/spark_data/save_data_db.py

替换<你的版本号>为集群实际使用的Hive、Hadoop版本，必须保证JAR版本与集群环境完全匹配。

方式2：配置Spark默认依赖路径 #

修改spark-defaults.conf，添加以下配置让Spark自动从指定目录加载所有JAR：

spark.driver.extraClassPath hdfs:///spark-jars/*
spark.executor.extraClassPath hdfs:///spark-jars/*

配置后重启Spark客户端（YARN集群无需重启服务，确保配置文件生效即可），之后直接执行原提交命令即可。

方式3：补充Spark安装目录依赖 #

检查Spark安装目录下的jars文件夹，若缺失Hive相关JAR，直接从集群Hive安装目录复制对应版本的hive-metastore.jar、hive-exec.jar、hadoop-common.jar等核心JAR到该目录，无需额外配置即可生效。

关键注意事项 #

• 所有依赖JAR的版本必须与集群的Hadoop、Hive、Spark版本严格兼容，版本不匹配会引发类加载或运行时异常。
• Cluster模式下，HDFS上的JAR存储路径需对所有YARN节点可见，权限设置为至少可读可执行。

内容的提问来源于stack exchange，提问作者Sheikh Wasiu Al Hasib