Anaconda Jupyter Notebook中PySpark初始化SparkContext/SparkSession报错求助

刚接触PySpark遇到这些初始化错误确实头疼，咱们先理清楚两个错误的关联：其实它们本质都是Java环境不兼容或者Spark/Jupyter的环境变量没有正确加载导致的——第一个错误是Spark初始化时找不到核心Java依赖类，第二个是Java网关进程（PySpark和Java交互的桥梁）启动失败，根源都是Spark没法正常调用Java环境。

下面是一步步的排查和解决办法：

1. 先确认Java版本兼容性（最关键） #

Spark 3.2.1对Java版本有严格要求：必须是Java 8或者Java 11，不能用Java 17及以上版本。

• 打开命令行执行java -version，检查输出的版本号，比如：

  java version "1.8.0_301"
  Java(TM) SE Runtime Environment (build 1.8.0_301-b09)
  Java HotSpot(TM) 64-Bit Server VM (build 25.301-b09, mixed mode)
  

• 确保JAVA_HOME环境变量指向这个兼容的Java版本，并且这个路径已经添加到系统的PATH环境变量最前面（避免被其他Java版本覆盖）。

2. 让Jupyter正确读取Spark和Java的环境变量 #

Anaconda的Jupyter有时候不会自动继承系统的全部环境变量，所以可以在代码开头手动设置：

import os
# 替换成你的Java和Spark实际路径
os.environ['JAVA_HOME'] = 'C:\\Program Files\\Java\\jdk1.8.0_301'
os.environ['SPARK_HOME'] = 'C:\\spark-3.2.1-bin-hadoop3.2'
# 更新PATH，确保Spark和Java的bin目录在最前面
os.environ['PATH'] = os.environ['SPARK_HOME'] + '\\bin;' + os.environ['JAVA_HOME'] + '\\bin;' + os.environ['PATH']

# 初始化findspark
import findspark
findspark.init()

3. 先验证Spark本身能否正常启动 #

在命令行执行spark-shell，如果能正常进入Scala的Spark交互界面，说明Spark和Java的配置本身没问题；如果这里也报错，那就是Spark的基础配置问题：

• Windows下可能需要winutils.exe，你可以下载对应hadoop3.2版本的winutils，放到C:\spark-3.2.1-bin-hadoop3.2\bin目录下（或者设置HADOOP_HOME指向包含winutils的路径）。

4. 调整SparkSession的初始化代码 #

不要直接用getOrCreate()，显式指定本地模式启动，避免自动尝试连接集群的问题：

from pyspark.sql import SparkSession
spark = SparkSession.builder \
    .master("local[*]")  # 用本地所有核心运行
    .appName("PrdectiveModel") \
    .getOrCreate()

# 测试是否正常
df = spark.sql("select 'spark' as hello ")
df.show()

5. 重启Jupyter内核 #

修改环境变量后，一定要重启Jupyter的内核（点击Jupyter界面的"Kernel" -> "Restart"），否则新的环境变量不会生效。

按照这个流程走下来，应该能解决这两个关联的初始化错误。

内容的提问来源于stack exchange，提问作者Necromancer