Spark运行脚本遇Netty NoSuchMethodError及MetricsSystem问题求助

我之前也碰到过类似的Spark依赖冲突和初始化问题，给你几个具体的解决方案试试：

一、解决Netty NoSuchMethodError 依赖冲突问题 #

你手动添加Netty依赖后仍报错，大概率是Maven依赖调解机制引入了其他旧版本的Netty，导致Spark需要的方法找不到。可以通过以下步骤解决：

1. 用dependencyManagement强制统一Netty版本
   在你的pom.xml中添加dependencyManagement块，强制指定Spark 2.3.0兼容的Netty版本，同时排除Spark自带的Netty依赖，避免冲突：

<dependencyManagement>
    <dependencies>
        <!-- 强制指定Netty版本，Spark 2.3.0官方适配4.1.17.Final -->
        <dependency>
            <groupId>io.netty</groupId>
            <artifactId>netty-all</artifactId>
            <version>4.1.17.Final</version>
        </dependency>
        <!-- 排除Spark Core自带的Netty依赖，防止版本混杂 -->
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.11</artifactId>
            <version>2.3.0</version>
            <exclusions>
                <exclusion>
                    <groupId>io.netty</groupId>
                    <artifactId>netty-all</artifactId>
                </exclusion>
                <exclusion>
                    <groupId>io.netty</groupId>
                    <artifactId>netty-buffer</artifactId>
                </exclusion>
            </exclusions>
        </dependency>
    </dependencies>
</dependencyManagement>

2. 排查第三方依赖的Netty冲突
   执行mvn dependency:tree命令生成依赖树，搜索netty相关条目，看看是否有其他依赖（比如Hadoop、Flink或自定义组件）引入了旧版本的Netty。如果有，在对应的依赖中添加<exclusion>排除冲突的Netty模块。

3. 清理本地Maven仓库并重新下载依赖
   本地仓库可能存在损坏或版本混杂的依赖，执行以下命令强制更新：

mvn clean install -U

二、解决Spark 2.2.1的MetricsSystem初始化报错 #

这个报错是因为MetricsSystem还未启动就被调用，你可以尝试以下两种方式：

1. 禁用不必要的Metrics配置
   在SparkConf中添加参数关闭Metrics功能，绕过初始化问题：

val conf = new SparkConf()
    .setAppName("YourSparkApp")
    .setMaster("local[*]")
    .set("spark.metrics.enabled", "false")
    .set("spark.driver.metrics.enabled", "false")

2. 检查自定义Metrics配置文件
   如果你的项目中存在metrics.properties配置文件，暂时移除或重命名它，避免干扰Spark默认的Metrics初始化流程。

三、额外建议 #

如果以上方案都无效，你可以尝试：

• 切换到Spark 2.3.1版本（修复了部分2.3.0的依赖兼容问题）；
• 检查项目中是否存在多个版本的Spark核心依赖，确保所有Spark相关依赖版本统一。

内容的提问来源于stack exchange，提问作者TurningLock