Maven项目导入依赖仍报SparkSession类找不到及Scala版本错误

我来帮你捋捋这个问题，这在Spark本地开发时特别容易踩坑～咱们一步步拆解原因和解决方案：

第一个错误：java.lang.NoClassDefFoundError: org/apache/spark/sql/SparkSession #

你提到加了<scope>provided</scope>后出现这个错误，这是因为provided这个依赖范围的含义是：编译时会用到这个依赖，但运行时认为容器（比如Spark集群、YARN）会提供它。但你在IDEA本地运行时，并没有Spark集群环境，JVM自然找不到SparkSession这个类。

另外还有个关键问题：你只引入了spark-core依赖，但SparkSession其实属于spark-sql模块，spark-core里根本没有这个类！这才是核心原因之一。

第二个错误：去掉provided后出现java.lang.NoSuchMethodError #

这个错误通常是依赖版本冲突导致的：

• 可能是你引入的spark-core和其他Spark相关依赖（比如后来补的spark-sql）版本不匹配；
• 也可能是项目中其他依赖间接引入了不同版本的Spark类，导致方法签名不兼容。

具体解决方案 #

1. 补全必要的Spark依赖，确保版本完全统一 #

首先必须引入spark-sql（以及操作Hive需要的spark-hive），而且版本要和spark-core完全一致（你用的是Cloudera定制的2.2.0.cloudera1，别混用官方版本）。示例Maven依赖配置：

<dependencies>
    <!-- Spark Core -->
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-core_2.11</artifactId>
        <version>2.2.0.cloudera1</version>
        <!-- 本地开发时注释掉这行，打包提交集群时打开 -->
        <!-- <scope>provided</scope> -->
    </dependency>

    <!-- Spark SQL 必须引入，SparkSession在这里 -->
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-sql_2.11</artifactId>
        <version>2.2.0.cloudera1</version>
        <!-- 本地开发时注释掉这行，打包提交集群时打开 -->
        <!-- <scope>provided</scope> -->
    </dependency>

    <!-- 如果需要操作Hive表，添加这个依赖 -->
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-hive_2.11</artifactId>
        <version>2.2.0.cloudera1</version>
        <!-- <scope>provided</scope> -->
    </dependency>
</dependencies>

2. 用Maven Profile区分开发/生产环境，避免手动改scope #

每次改scope太麻烦，可以用Profile自动切换：

<profiles>
    <!-- 本地开发环境，默认激活 -->
    <profile>
        <id>dev</id>
        <activation>
            <activeByDefault>true</activeByDefault>
        </activation>
        <dependencies>
            <dependency>
                <groupId>org.apache.spark</groupId>
                <artifactId>spark-core_2.11</artifactId>
                <version>2.2.0.cloudera1</version>
            </dependency>
            <dependency>
                <groupId>org.apache.spark</groupId>
                <artifactId>spark-sql_2.11</artifactId>
                <version>2.2.0.cloudera1</version>
            </dependency>
        </dependencies>
    </profile>

    <!-- 生产打包环境，提交集群时用 -->
    <profile>
        <id>prod</id>
        <dependencies>
            <dependency>
                <groupId>org.apache.spark</groupId>
                <artifactId>spark-core_2.11</artifactId>
                <version>2.2.0.cloudera1</version>
                <scope>provided</scope>
            </dependency>
            <dependency>
                <groupId>org.apache.spark</groupId>
                <artifactId>spark-sql_2.11</artifactId>
                <version>2.2.0.cloudera1</version>
                <scope>provided</scope>
            </dependency>
        </dependencies>
    </profile>
</profiles>

本地开发不用管，打包时执行：mvn clean package -P prod

3. 排查并解决依赖冲突 #

运行以下命令查看依赖树，找有没有不同版本的Spark依赖：

mvn dependency:tree | grep spark

如果发现有其他依赖引入了非2.2.0.cloudera1版本的Spark类，就通过<exclusions>排除掉，比如：

<dependency>
    <groupId>第三方依赖的groupId</groupId>
    <artifactId>第三方依赖的artifactId</artifactId>
    <version>对应版本</version>
    <exclusions>
        <exclusion>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-sql_2.11</artifactId>
        </exclusion>
    </exclusions>
</dependency>

4. 刷新IDEA依赖和缓存 #

做完以上配置后，右键项目 → Maven → Reload Project，确保依赖加载正确。如果还是有问题，试试清理IDEA缓存：File → Invalidate Caches... → 勾选Clear file system cache and local history → 重启IDEA。

内容的提问来源于stack exchange，提问作者Foxlooo