IntelliJ提示pom.xml存在多版本Scala库，求报错原因

报错原因 #

1. Scala版本不统一：你的Spark核心依赖（spark-core_2.12、spark-sql_2.12等）均基于Scala 2.12，但com.databricks:spark-csv_2.11明确使用Scala 2.11版本，这会引入Scala 2.11的类库，与项目中Scala 2.12的依赖产生冲突。
2. 传递依赖版本不匹配：com.twitter:chill_2.12:0.9.3是spark-core_2.12:2.4.7的传递依赖，它要求Scala 2.12.6，但你的项目环境使用的是Scala 2.12.10，版本差异触发了依赖检查报错。

解决步骤 #

1. 修复spark-csv的Scala版本匹配问题

Spark 2.0及以上版本已经内置了CSV读取支持，可以直接移除spark-csv依赖。如果确实需要保留该依赖，需替换为Scala 2.12对应的版本（例如spark-csv_2.12:1.5.0，若该版本不存在可选择更高兼容版本如1.6.0）。

2. 统一管控Scala版本

在pom.xml中添加dependencyManagement节点，强制所有Scala相关依赖使用统一版本，避免传递依赖带来的版本混乱：

<dependencyManagement>
    <dependencies>
        <dependency>
            <groupId>org.scala-lang</groupId>
            <artifactId>scala-library</artifactId>
            <version>2.12.10</version>
        </dependency>
        <dependency>
            <groupId>org.scala-lang</groupId>
            <artifactId>scala-reflect</artifactId>
            <version>2.12.10</version>
        </dependency>
    </dependencies>
</dependencyManagement>

3. （可选）处理chill依赖版本冲突

如果上述步骤后仍有chill相关报错，可以在spark-core依赖中排除旧版本chill，手动引入适配Scala 2.12.10的版本：

<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-core_2.12</artifactId>
    <version>2.4.7</version>
    <exclusions>
        <exclusion>
            <groupId>com.twitter</groupId>
            <artifactId>chill_2.12</artifactId>
        </exclusion>
    </exclusions>
</dependency>
<!-- 引入适配2.12.10的chill版本 -->
<dependency>
    <groupId>com.twitter</groupId>
    <artifactId>chill_2.12</artifactId>
    <version>0.10.0</version> <!-- 选择兼容Scala2.12.10的版本 -->
</dependency>

修改后的示例pom.xml片段 #

<dependencyManagement>
    <dependencies>
        <dependency>
            <groupId>org.scala-lang</groupId>
            <artifactId>scala-library</artifactId>
            <version>2.12.10</version>
        </dependency>
        <dependency>
            <groupId>org.scala-lang</groupId>
            <artifactId>scala-reflect</artifactId>
            <version>2.12.10</version>
        </dependency>
    </dependencies>
</dependencyManagement>

<dependencies>
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-core_2.12</artifactId>
        <version>2.4.7</version>
    </dependency>
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-sql_2.12</artifactId>
        <version>2.4.7</version>
        <scope>provided</scope>
    </dependency>
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-hive_2.12</artifactId>
        <version>2.4.7</version>
        <scope>provided</scope>
    </dependency>

    <!-- 移除spark-csv依赖，或替换为2.12版本 -->
    <dependency>
        <groupId>org.joda</groupId>
        <artifactId>joda-convert</artifactId>
        <version>2.2.3</version>
    </dependency>
    <dependency>
        <groupId>com.univocity</groupId>
        <artifactId>univocity-parsers</artifactId>
        <version>2.9.1</version>
    </dependency>
</dependencies>

内容的提问来源于stack exchange，提问作者Sethi