使用Java SparkSQL遇NoSuchMethodError及SparkContext异常求助

核心原因 #

你遇到的java.lang.NoSuchMethodError本质是Spark依赖版本不兼容：

• Scala版本与Spark核心、SQL组件的版本不匹配，导致类加载时找到的TaskMetrics类缺失externalAccums()方法
• Maven依赖中存在多版本Spark类库冲突，引发类定义不一致
• 上述错误直接导致SparkContext意外终止，进而触发IllegalStateException: Cannot call methods on a stopped SparkContext

分步解决 #

1. 统一Spark所有组件版本 #

确保spark-core、spark-sql等所有Spark相关依赖的版本完全一致，同时严格遵循Spark与Scala的版本对应关系：

• Spark 3.0.x ~ 3.2.x → Scala 2.12
• Spark 3.3.x → Scala 2.12/2.13
• Spark 2.x → Scala 2.11

2. 排查并解决依赖冲突 #

执行mvn dependency:tree命令生成依赖树，找出重复或版本不一致的Spark/Scala依赖，通过<exclusions>标签排除低版本或多余的依赖。例如：

<dependency>
    <groupId>某第三方依赖</groupId>
    <artifactId>xxx</artifactId>
    <version>x.x.x</version>
    <exclusions>
        <!-- 排除该依赖间接引入的低版本Spark核心 -->
        <exclusion>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.11</artifactId>
        </exclusion>
    </exclusions>
</dependency>

3. 修正Spark初始化逻辑 #

避免直接操作SparkContext，改用SparkSession统一初始化（Spark 2.0+推荐方式），同时确保没有重复创建或提前关闭上下文的逻辑：

import org.apache.spark.sql.Dataset;
import org.apache.spark.sql.Row;
import org.apache.spark.sql.SparkSession;

public class CSVReader {
    public static void main(String[] args) {
        SparkSession spark = SparkSession.builder()
                .appName("CSVReadTask")
                .master("local[*]") // 本地调试用，集群提交时删除
                .getOrCreate();

        // 读取CSV（Spark 3.x内置支持，无需额外引入spark-csv依赖）
        Dataset<Row> csvDF = spark.read()
                .option("header", "true")
                .option("inferSchema", "true")
                .csv("/path/to/your/csv/file");

        csvDF.show();
        spark.stop();
    }
}

4. 正确配置Maven POM #

以下是适配Spark 3.3.x + Scala 2.12的标准POM依赖示例：

<properties>
    <spark.version>3.3.0</spark.version>
    <scala.version>2.12.15</scala.version>
</properties>

<dependencies>
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-core_${scala.binary.version}</artifactId>
        <version>${spark.version}</version>
        <!-- 集群环境下添加provided，避免打包重复依赖；本地调试可移除 -->
        <scope>provided</scope>
    </dependency>
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-sql_${scala.binary.version}</artifactId>
        <version>${spark.version}</version>
        <scope>provided</scope>
    </dependency>
</dependencies>

注意：Spark 3.x版本无需单独引入spark-csv依赖，Spark SQL已内置CSV数据源支持。

内容的提问来源于stack exchange，提问作者Alex