Spark-Shell启动失败求助：PySpark可正常运行

核心原因 #

你遇到的scala.reflect.internal.FatalError: bad constant pool index错误，本质是Scala 2.13.8与JDK 21存在兼容性冲突。Scala 2.13.x系列从2.13.10版本开始才正式支持JDK 21，而Spark 3.5.1预编译包绑定的Scala版本是2.13.8，无法正确解析JDK 21生成的字节码结构，导致REPL启动失败。末尾的NoSuchFileException是启动失败后临时目录清理的次生错误，无需单独处理。

解决方案 #

方案1：降级JDK到Spark支持的版本（推荐）

Spark 3.5.1官方支持JDK 8、11、17，切换到这些版本可直接解决问题：

• 卸载当前JDK 21，安装JDK 17（LTS版本，兼容性最好）
• 更新环境变量：
  • 设置JAVA_HOME指向JDK 17的安装目录
  • 调整PATH，将%JAVA_HOME%\bin放在最前面，确保优先使用该JDK
• 重启终端，执行java -version验证版本正确，再启动spark-shell

方案2：升级Scala版本（进阶）

如果必须使用JDK 21，需要升级Spark配套的Scala到2.13.10及以上：

• 下载Scala 2.13.10或更高版本的编译包
• 替换Spark安装目录./jars下所有scala-*开头的旧版本jar包
• 启动spark-shell时指定Scala版本：

  spark-shell --conf spark.repl.scalaVersion=2.13.10
  

注意：该方法可能存在依赖兼容性风险，建议优先选择方案1。

方案3：验证环境配置

确保以下环境变量配置正确：

• SPARK_HOME指向Spark 3.5.1的安装目录
• HADOOP_HOME指向放置winutils的目录
• 确认CLASSPATH中没有残留的旧JDK或Scala库路径

内容的提问来源于stack exchange，提问作者rsharma7