Spark Scala代码在sbt REPL运行失败，spark-shell正常，如何解决？

我来帮你搞定这个问题！其实核心原因很直白：spark-shell是Spark官方自带的REPL环境，它已经帮你预加载了所有Spark相关的依赖和配置，但sbt启动的Scala REPL完全依赖你自己项目的依赖配置，所以得先把Spark的依赖正确加入到你的sbt项目里才行。下面是具体的解决步骤：

1. 检查并修正build.sbt配置 #

首先看项目根目录下的build.sbt文件，必须包含正确的Spark Core依赖，而且Scala版本一定要和Spark版本兼容——版本不匹配是这类问题最常见的诱因。

给你一个兼容的配置示例（以Spark 3.3.2搭配Scala 2.12.x为例）：

name := "SparkLocalDebug"
version := "0.1"
scalaVersion := "2.12.15" // Spark 3.3.x系列仅支持Scala 2.12，别乱改！

// 添加Spark Core依赖，本地调试不需要加% Provided
libraryDependencies += "org.apache.spark" %% "spark-core" % "3.3.2"

如果你的项目是要打包到集群运行的，平时依赖会加% Provided（因为集群环境已经自带Spark依赖），那本地调试REPL的时候需要用特殊命令启动，这看下一步。

2. 正确启动sbt console #

• 如果你的build.sbt里Spark依赖没有加% Provided，直接在项目根目录运行：

  sbt console
  

• 如果你的Spark依赖加了% Provided，默认sbt console不会加载Provided scope的依赖，得用这个命令启动：

  sbt consoleIncludeProvided
  

3. 在REPL中运行你的代码 #

启动console后，输入你的代码就能正常运行了：

import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.apache.spark.SparkConf
val conf = new SparkConf().setAppName("RddSample").setMaster("local[*]")
val sc = new SparkContext(conf)
val data = (0 to 10).toArray
val inputRDD = sc.parallelize(data)
// 可以加个测试操作验证一下
inputRDD.collect().foreach(println)

额外提醒 #

• 版本对应关系要记牢：
  • Spark 2.4.x → Scala 2.11.x
  • Spark 3.0-3.3.x → Scala 2.12.x
  • Spark 3.4+ → Scala 2.13.x
• 如果在REPL中重复执行创建sc的代码会报错，这时候先执行sc.stop()再重新创建即可。

内容的提问来源于stack exchange，提问作者k_trader