Jupyter安装Pyspark失败提示找不到SPARK_HOME环境变量问题求助

解决方案 #

1. 校验环境变量生效状态 #

打开Anaconda Prompt，执行命令：
echo %SPARK_HOME%

• 若输出为空/不是D:\spark\spark-3.0.3-bin-hadoop2.7，说明系统环境变量未生效，重启电脑后再试
• 若输出正确，进入下一步

2. 手动指定Spark路径调用findspark #

如果自动识别失败，直接在init方法中传入Spark根目录路径，替换原有代码即可：

import findspark
# Windows路径可使用正斜杠，或双反斜杠转义
findspark.init("D:/spark/spark-3.0.3-bin-hadoop2.7")

import pyspark
from pyspark.sql import SparkSession

3. 修复版本兼容问题 #

注意：Spark 3.0.x 系列最高仅支持Java 11，你当前使用的Java 16无法兼容

• 卸载Java 16，安装Java 8 或 Java 11版本
• 更新JAVA_HOME环境变量为新的JDK安装路径，同步更新PATH中对应的Java bin目录路径，重启生效

4. 修正PATH配置 #

你当前PATH中配置的Spark路径仅到根目录，需要修改为bin目录路径：
将D:\spark\spark-3.0.3-bin-hadoop2.7改为D:\spark\spark-3.0.3-bin-hadoop2.7\bin

5. 验证配置 #

所有配置修改完成后重启Jupyter，执行以下代码测试：

import findspark
findspark.init()
spark = SparkSession.builder.appName("test").getOrCreate()
print(spark.version)

正常输出版本号即配置成功。

内容的提问来源于stack exchange，提问作者Suganya