Spark读取Kafka流写入Hive时遇NoSuchMethodError问题求助

这个错误是典型的依赖版本冲突导致的：org.apache.hadoop.hive.common.FileUtils.mkdir方法的签名在不同Hive版本中存在差异，你编译代码时依赖的版本和运行时加载的版本不匹配，导致JVM找不到对应方法。以下是具体解决步骤：

1. 排查依赖树，定位冲突版本 #

在sbt控制台执行命令，查看所有依赖中hive-common的版本：

sbt dependencyTree

或者直接过滤hive相关依赖，快速定位冲突：

sbt dependencyTree | grep hive-common

重点检查是否有多个不同版本的hive-common被引入，比如Spark自带的Hive依赖和你手动添加的版本不一致。

2. 统一Hive依赖版本 #

确保所有Hive相关依赖（hive-common、hive-exec、hive-metastore等）使用与集群Hive完全一致的版本，且所有Hive依赖版本统一。比如集群用Hive 3.1.2，所有Hive依赖都指定这个版本。

3. 排除Spark自带的冲突Hive依赖 #

Spark默认自带Hive依赖，如果你手动添加了集群版本的Hive依赖，需要排除Spark自带的Hive相关包，避免版本冲突。示例sbt配置：

val sparkVersion = "3.3.0"
val hiveVersion = "3.1.2" // 替换为你集群的Hive版本

libraryDependencies ++= Seq(
  "org.apache.spark" %% "spark-sql" % sparkVersion % Provided,
  "org.apache.spark" %% "spark-streaming-kafka-0-10" % sparkVersion,
  // 显式添加匹配集群的Hive依赖，并排除冲突包
  "org.apache.hive" % "hive-common" % hiveVersion excludeAll(
    ExclusionRule(organization = "org.apache.spark"),
    ExclusionRule(organization = "org.apache.hadoop")
  ),
  "org.apache.hive" % "hive-exec" % hiveVersion excludeAll(
    ExclusionRule(organization = "org.apache.spark"),
    ExclusionRule(organization = "org.apache.hadoop")
  )
)

注意：% Provided表示Spark依赖由集群提供，无需打包到jar中，避免和集群环境冲突。

4. 验证最终依赖版本 #

再次执行sbt dependencyTree | grep hive-common，确认只有你指定的Hive版本被引入，没有其他版本的冲突依赖。

5. 匹配集群运行环境版本 #

如果是在集群上运行，还要确保：

• 集群的Hive、Hadoop版本和你的依赖版本完全一致
• 提交任务时，不要通过--jars等方式引入额外的冲突jar包

内容的提问来源于stack exchange，提问作者sami JIMOUH