如何解决Spring Web应用运行Spark进程时的NoSuchMethodError异常

这个错误我之前在整合Spark和Spring Boot项目时也踩过坑，核心原因就是Hadoop依赖版本不兼容导致的方法缺失，下面给你一步步拆解解决思路：

1. 先搞懂错误根源 #

Spark 2.4.x系列（比如你用的2.4.3）依赖的Hadoop版本要求至少是2.7.0以上——因为org.apache.hadoop.conf.Configuration.getPassword(String)这个方法是在Hadoop 2.7.0版本才新增的。而你的Spring Web应用里，肯定是某个依赖偷偷引入了低于2.7.0的Hadoop common/conf包，导致运行时JVM找不到这个方法，抛出了NoSuchMethodError。

2. 找出冲突的依赖 #

先排查项目里到底是谁带进来的旧版本Hadoop：

• 如果你用Maven，执行命令：

mvn dependency:tree | grep hadoop

• 如果你用Gradle，执行：

gradle dependencies | grep hadoop

输出结果里你会看到某个依赖（比如Spring生态的大数据集成包、自定义的第三方组件）关联了低版本的Hadoop，这就是冲突源。

3. 排除低版本Hadoop依赖 #

在你的依赖配置里，把引入旧Hadoop的那个依赖的Hadoop子依赖排除掉。举个例子：

Maven配置 #

<dependency>
    <groupId>com.example</groupId>
    <artifactId>conflicting-dependency</artifactId>
    <version>x.x.x</version>
    <exclusions>
        <exclusion>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
        </exclusion>
        <exclusion>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-conf</artifactId>
        </exclusion>
    </exclusions>
</dependency>

Gradle配置 #

implementation('com.example:conflicting-dependency:x.x.x') {
    exclude group: 'org.apache.hadoop', module: 'hadoop-common'
    exclude group: 'org.apache.hadoop', module: 'hadoop-conf'
}

4. 显式引入兼容的Hadoop版本 #

在依赖文件里主动添加Spark 2.4.x兼容的Hadoop版本（官方测试过的2.7.7或3.2.1都可以）：

Maven配置 #

<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-common</artifactId>
    <version>2.7.7</version>
    <!-- 如果部署到已有Hadoop环境的服务器，可加<scope>provided</scope>避免打包重复 -->
</dependency>

Gradle配置 #

implementation 'org.apache.hadoop:hadoop-common:2.7.7'

5. 额外小提示 #

• 打包后可以用jar tf your-app.jar | grep hadoop检查，确保最终jar包只有一份兼容版本的Hadoop类，没有重复的旧版本文件。
• 如果只是本地测试Spark、不需要分布式Hadoop功能，也可以临时在构建SparkSession时指定本地文件系统，但这只是权宜之计，核心还是要解决依赖冲突：

SparkSession spark = SparkSession.builder()
    .master("local[*]")
    .appName("SpringSparkDemo")
    .config("spark.hadoop.fs.defaultFS", "file:///")
    .getOrCreate();

内容的提问来源于stack exchange，提问作者Alexander Sharman