SBT编译Spark Scala项目失败，依赖无法识别求助

1. 核查build.sbt核心配置 #

• 检查Spark依赖范围：如果是本地运行，必须移除provided标识，否则IDE不会自动加载依赖包：

  libraryDependencies += "org.apache.spark" %% "spark-core" % "2.4.8"
  

• 严格匹配Scala与Spark版本：比如Spark 2.4.x对应Scala 2.11.x，Spark 3.x对应Scala 2.12/2.13，确保build.sbt中scalaVersion与Spark版本兼容：

  scalaVersion := "2.11.12" // 对应Spark 2.4.8示例
  

• 确认仓库配置完整，添加Maven中央仓库：

  resolvers += Resolver.mavenCentral
  

2. 重置IDE缓存与SBT构建 #

• 执行SBT命令强制刷新依赖并重新编译：

  sbt clean update compile
  

• 针对IntelliJ等IDE：
  • 打开File -> Invalidate Caches...，勾选"Clear file system cache and local history"后重启IDE
  • 重新导入SBT项目：File -> Project Structure -> Modules，移除现有模块后重新导入

3. 检查项目结构与导入正确性 #

• 确认Spark相关导入包名无误，例如RDD的标准导入：

  import org.apache.spark.rdd.RDD
  import org.apache.spark.SparkContext
  

• 确保源码文件放在src/main/scala目录下，SBT默认仅识别该路径下的Scala源码

4. 验证本地运行环境 #

• 执行java -version和scala -version，确认版本与build.sbt配置完全一致
• 直接通过SBT命令运行项目，获取更详细的错误日志：

  sbt run
  

  日志会明确提示是否存在依赖缺失、版本冲突等具体问题

5. 排查自定义对象依赖 #

如果WikipediaData是自定义工具类，检查它是否引入了未在build.sbt中声明的依赖，或者是否存在与Spark类路径冲突的情况

内容的提问来源于stack exchange，提问作者Pepe Diaz