配置Scala 2.11.8对应Spark 2.3.0 Maven依赖遇问题求助

结合你的环境信息（Scala 2.11.8 + Spark 2.3.0 + Java 1.8 + Eclipse 4.7.0），我整理了一套适配的POM.xml配置方案，帮你解决依赖配置的问题：

1. 统一版本属性定义 #

先把核心版本号统一放在properties里，方便后续维护和修改：

<properties>
    <scala.version>2.11.8</scala.version>
    <spark.version>2.3.0</spark.version>
    <java.version>1.8</java.version>
    <maven.compiler.source>${java.version}</maven.compiler.source>
    <maven.compiler.target>${java.version}</maven.compiler.target>
</properties>

2. 核心依赖配置 #

Spark的依赖必须带上对应Scala版本的后缀（_${scala.version}），同时根据场景设置scope：

<dependencies>
    <!-- Spark核心依赖 -->
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-core_${scala.version}</artifactId>
        <version>${spark.version}</version>
        <!-- 本地开发用provided，因为集群环境自带Spark包，避免打包时重复引入 -->
        <scope>provided</scope>
    </dependency>
    <!-- Spark SQL依赖（如果用到DataSet/DataFrame/SQL功能） -->
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-sql_${scala.version}</artifactId>
        <version>${spark.version}</version>
        <scope>provided</scope>
    </dependency>
    <!-- Scala基础库依赖 -->
    <dependency>
        <groupId>org.scala-lang</groupId>
        <artifactId>scala-library</artifactId>
        <version>${scala.version}</version>
    </dependency>
</dependencies>

3. Scala编译插件配置 #

Eclipse的Maven项目需要正确配置scala-maven-plugin来编译Scala代码，避免版本不兼容：

<build>
    <plugins>
        <!-- Scala编译插件 -->
        <plugin>
            <groupId>net.alchim31.maven</groupId>
            <artifactId>scala-maven-plugin</artifactId>
            <version>4.4.0</version>
            <executions>
                <execution>
                    <goals>
                        <goal>compile</goal>
                        <goal>testCompile</goal>
                    </goals>
                    <configuration>
                        <scalaVersion>${scala.version}</scalaVersion>
                    </configuration>
                </execution>
            </executions>
        </plugin>
        <!-- Maven编译插件，确保Java版本匹配 -->
        <plugin>
            <groupId>org.apache.maven.plugins</groupId>
            <artifactId>maven-compiler-plugin</artifactId>
            <version>3.8.1</version>
            <configuration>
                <source>${java.version}</source>
                <target>${java.version}</target>
            </configuration>
        </plugin>
    </plugins>
</build>

4. Eclipse环境适配小技巧 #

• 配置完POM后，右键项目 → Maven → Update Project，确保依赖正确下载
• 检查Scala库容器：确认你选择的"Latest 2.11 bundle(dynamic)"实际版本是2.11.8，避免和POM中定义的版本冲突
• 如果遇到编译报错，可尝试执行Project → Clean清理项目后重新编译

内容的提问来源于stack exchange，提问作者SAG