Anaconda环境中PySpark与Jupyter Notebook启动SparkSession报错求助

常见原因及对应解决方案 #

1. 检查Spark与Java版本兼容性 #

你的Java版本是OpenJDK 17，Spark 3.2及以上版本才正式支持Java 17。若PySpark对应的Spark版本低于3.2，会触发这类兼容性错误：

• 验证Spark版本：激活conda环境后，在终端执行 spark-submit --version 查看版本号。
• 版本过低则升级PySpark：运行 pip install --upgrade pyspark 或 conda install -c conda-forge pyspark=3.3+（选择3.3、3.4等适配Java17的版本）。

2. 配置SPARK_HOME环境变量 #

Anaconda安装的PySpark常未自动配置SPARK_HOME，导致JVM无法找到完整Spark依赖：

• 找到conda环境中PySpark的安装路径，一般在 {conda_env_path}/lib/site-packages/pyspark。
• Windows系统：添加系统环境变量 SPARK_HOME 指向该路径，同时将 %SPARK_HOME%\bin 加入PATH。
• Linux/macOS：在终端执行 export SPARK_HOME=/path/to/pyspark 和 export PATH=$SPARK_HOME/bin:$PATH（可写入~/.bashrc或~/.zshrc永久生效）。
• 重启Jupyter Lab后重新尝试初始化。

3. 清理Spark残留进程与缓存 #

残留的Spark进程或缓存可能导致类加载异常：

• 关闭所有Jupyter Lab实例和关联终端。
• 结束任务管理器（Windows）或活动监视器（macOS）中所有java、python相关的Spark进程。
• 重新激活conda环境，启动Jupyter Lab后再运行初始化代码。

4. 显式指定Spark运行模式与资源配置 #

尝试显式指定local模式并分配足够内存，避免资源不足引发的类加载失败：

import pyspark
from pyspark.sql import SparkSession

spark = SparkSession.builder \
    .master("local[*]") \
    .config("spark.driver.memory", "4g") \
    .appName("JupNote") \
    .getOrCreate()

5. 重新安装PySpark确保完整性 #

若以上方法无效，可能是PySpark安装不完整：

• 卸载当前PySpark：pip uninstall pyspark 或 conda remove pyspark。
• 重新安装：pip install pyspark 或 conda install -c conda-forge pyspark，确保安装过程无报错。

内容的提问来源于stack exchange，提问作者FreddieBL