执行MongoDB Hadoop Connector Spark用法时遇NoSuchMethodError错误求助

这个错误我之前帮好几个开发者排查过，本质就是版本兼容性冲突——具体是你的Spark和Hadoop依赖版本不匹配，导致org.apache.hadoop.security.UserGroupInformation.getCredentials()方法找不到。不同Hadoop版本里这个方法的签名或存在性有变化，当Spark调用这个方法时，classpath里的Hadoop jar包版本不支持，就会抛出这个异常。

核心解决方案：对齐所有组件版本 #

1. 确认版本匹配矩阵 #

首先要明确三个组件的版本必须兼容：

• Spark版本
• Hadoop版本（Spark默认依赖的Hadoop版本，比如Spark 2.4.x通常对应Hadoop 2.6+，Spark 3.x对应Hadoop 3.x）
• MongoDB Hadoop Connector版本（必须同时适配你的Spark和Hadoop版本）

2. 调整依赖配置，排除冲突 #

不管你用Maven还是SBT，都要强制统一Hadoop依赖版本，同时排除Connector自带的可能冲突的Hadoop jar：

Maven示例：

<dependencies>
    <!-- MongoDB Spark Connector，选对应Spark版本的包 -->
    <dependency>
        <groupId>org.mongodb.spark</groupId>
        <artifactId>mongo-spark-connector_2.11</artifactId>
        <version>2.4.3</version> <!-- 适配Spark 2.4.x -->
        <exclusions>
            <!-- 排除自带的Hadoop依赖，避免冲突 -->
            <exclusion>
                <groupId>org.apache.hadoop</groupId>
                <artifactId>hadoop-common</artifactId>
            </exclusion>
        </exclusions>
    </dependency>
    <!-- 引入和Spark匹配的Hadoop版本 -->
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-common</artifactId>
        <version>2.7.3</version> <!-- 替换成你的Spark对应的Hadoop版本 -->
    </dependency>
</dependencies>

SBT示例：

libraryDependencies ++= Seq(
  "org.mongodb.spark" %% "mongo-spark-connector" % "2.4.3" exclude ("org.apache.hadoop", "hadoop-common"),
  "org.apache.hadoop" % "hadoop-common" % "2.7.3" // 匹配Spark的Hadoop版本
)

3. 用spark-submit的--packages参数自动处理依赖 #

如果是提交到集群，尽量用spark-submit的--packages参数指定Connector，让Spark自动拉取兼容的依赖，避免手动打包带来的冲突：

spark-submit --packages org.mongodb.spark:mongo-spark-connector_2.11:2.4.3 your-spark-app.jar

4. 检查并清理依赖冲突 #

用依赖分析工具排查冲突：

• Maven：运行mvn dependency:tree，查看所有依赖的Hadoop相关包，找出旧版本的依赖并排除
• SBT：运行sbt dependencyTree，同理排查冲突

如果是IDE开发，还要清理项目的本地缓存（比如IntelliJ的File -> Invalidate Caches / Restart），确保没有重复的Hadoop jar包存在。

内容的提问来源于stack exchange，提问作者Hung Nguyen