如何修复Spark报错：not found: value spark？

错误原因 #

Spark 2.0及以上版本的spark-shell启动后默认会自动创建两个全局实例：

• 名为spark的SparkSession实例，用于DataFrame/DataSet相关API调用

• 名为sc的SparkContext实例，用于RDD相关API调用
  出现error: not found: value spark是全局spark实例未自动初始化导致的，可按以下方案修复：

• 方案1：重启spark-shell去掉特殊启动参数
  若你启动spark-shell时添加了自定义配置、关闭自动初始化的参数，直接删除异常参数重新启动spark-shell即可。启动后可先输入spark命令验证，正常会输出SparkSession实例信息。

• 方案2：手动创建SparkSession实例
  若启动参数无异常，可在你的业务代码前手动初始化spark实例，代码如下：

  import org.apache.spark.sql.SparkSession
  val spark = SparkSession.builder()
    .appName("testApp")
    .master("local[*]")
    .getOrCreate()
  

  初始化完成后再执行你后续的代码即可正常运行。

• 方案3：直接使用默认SparkContext实例（更适合RDD开发场景）
  你当前的代码是操作RDD，不需要通过SparkSession获取SparkContext，直接替换最后一行代码使用全局默认的sc实例即可：

  val lineRDD: RDD[String] = sc.textFile(file)
  

额外提示：你代码中的val rootPath: String = _使用占位符赋值时，String类型的默认值为null，拼接后会得到null/mytext.txt的非法路径，后续会触发文件不存在错误，建议替换为你实际存放mytext.txt的目录绝对路径，比如val rootPath: String = "/usr/local/spark/data"

内容的提问来源于stack exchange，提问作者Frank