IntelliJ中Maven项目无法导入org.apache.spark的解决求助

你的问题核心是Maven依赖配置或同步出了问题，导致IntelliJ无法识别Spark的包。我帮你梳理几个关键修复步骤：

1. 统一并修正Spark依赖版本 #

你的pom.xml存在版本不一致的问题：properties中定义的spark.version是2.2.0.cloudera1，但实际依赖里用的是2.3.0-palantir3。这种版本混乱可能导致依赖拉取失败，而且Palantir的定制版本如果没有额外仓库配置，Maven根本拉取不到对应的包。

建议换成Apache官方的、与你的Scala 2.11.8匹配的稳定Spark版本（比如2.4.8，完美支持Scala 2.11），同时统一版本引用：

<!-- 修改properties中的Spark版本 -->
<properties>
    <!-- 其他属性保持不变 -->
    <spark.version>2.4.8</spark.version>
</properties>

<!-- 修正依赖引用 -->
<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-core_2.11</artifactId>
    <version>${spark.version}</version>
    <!-- 本地运行时不要加provided，否则IntelliJ无法找到依赖 -->
    <!-- <scope>provided</scope> -->
</dependency>

2. 强制刷新Maven依赖 #

修改完pom后，需要让IntelliJ重新同步依赖，同时强制Maven拉取最新的包：

• 在IntelliJ右侧的Maven面板中，点击顶部的刷新按钮（🔄）；
• 或者右键项目根目录，选择Maven > Reload Project；
• 更彻底的方式是打开终端，在项目根目录执行：

  mvn clean install -U
  

  -U参数会强制Maven更新所有快照和依赖，确保本地仓库里有正确的Spark包。

3. 修正导入语句 #

你当前的import org.apache.spark是导入整个包，但通常我们需要导入具体的Spark类或子包才能使用API，比如：

// 导入Spark核心类
import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
// 或者一次性导入core下的所有类
import org.apache.spark._

4. 验证Scala SDK配置 #

确保IntelliJ使用的Scala SDK版本和pom中定义的scala.version（2.11.8）一致：

• 打开File > Project Structure > Global Libraries，检查是否有Scala 2.11.8的SDK；
• 切换到Modules选项卡，确认你的项目模块使用的Scala SDK是2.11.8。

完成这些步骤后，IntelliJ应该能正确识别Spark的依赖，导入语句也不会再报错了。

内容的提问来源于stack exchange，提问作者Foxlooo