Windows 11系统下如何正确配置PySpark？配置后启动报错如何解决

核心问题是软件版本互不兼容：

• Apache Spark 3.2.0 最高仅支持JDK 11，你使用的JDK 17不在兼容范围内，错误栈中StorageUtils类初始化失败就是该问题直接导致的
• Spark 3.2.0 官方适配的Python最高版本为3.9，你使用的Python 3.10存在兼容性问题
• 需确认HADOOP_HOME环境变量配置正确，winutils路径没有错误

1. 更换JDK版本 #

卸载现有JDK 17，安装JDK 8或者JDK 11，更新JAVA_HOME环境变量为新的JDK安装路径，同时在系统PATH中添加%JAVA_HOME%\bin。

2. 更换Python版本 #

卸载现有Python 3.10，安装Python 3.8或者3.9版本，更新系统PATH中的Python路径配置。

3. 核对Hadoop相关配置 #

确认以下环境变量配置正确：

• 新建系统变量HADOOP_HOME，值为C:\Program Files\Hadoop
• 在系统PATH中添加%HADOOP_HOME%\bin
• 确认winutils.exe确实存放在C:\Program Files\Hadoop\bin路径下

4. 核对Spark相关配置 #

确认以下环境变量配置正确：

• 新建系统变量SPARK_HOME，值为C:\Program Files\Spark
• 在系统PATH中添加%SPARK_HOME%\bin、%SPARK_HOME%\sbin

5. 安装匹配版本的PySpark #

打开终端执行命令：
pip install pyspark==3.2.0
确保PySpark版本和本地安装的Spark版本完全一致。

所有配置修改完成后重启电脑，再运行测试代码即可正常启动SparkSession。

内容的提问来源于stack exchange，提问作者Al-Andalus