Windows 11下PySpark解释器连接失败及Py4JJavaError报错求助

问题根源 #

• JAVA_HOME配置错误：你将JAVA_HOME设置为C:\Program Files\Java\jdk-18\bin\java.exe，但JAVA_HOME要求指向JDK根目录，而非可执行文件路径。
• Java版本兼容问题：Spark 3.3.1官方推荐使用Java 8或11，Java 18的模块系统默认禁止外部程序访问sun.nio.ch这类内部API，触发权限错误。
• 版本不匹配：本地Spark版本是3.3.1，但Anaconda安装的PySpark是3.2.1，版本不一致会引发兼容性冲突。

解决步骤 #

1. 修正JAVA_HOME配置 #

• 右键「此电脑」→「属性」→「高级系统设置」→「环境变量」
• 找到系统变量中的JAVA_HOME，修改为JDK根目录：C:\Program Files\Java\jdk-18（后续换Java 8/11时，改成对应JDK的根目录）
• 确认PATH变量包含%JAVA_HOME%\bin

2. 调整Java版本（优先推荐） #

卸载Java 18，安装Java 8或Java 11（Spark 3.3.1的官方兼容版本），重新配置JAVA_HOME指向新JDK的根目录。

若不想更换Java版本，可通过添加JVM参数绕过模块限制：

• 进入Spark安装目录的conf文件夹，复制spark-env.cmd.template并重命名为spark-env.cmd
• 打开文件添加以下内容：

set SPARK_OPTS=--add-exports java.base/sun.nio.ch=ALL-UNNAMED --add-opens java.base/java.nio=ALL-UNNAMED --add-opens java.base/java.lang=ALL-UNNAMED

3. 统一PySpark与Spark版本 #

卸载Anaconda中的低版本PySpark，安装与本地Spark一致的3.3.1版本：

pip uninstall pyspark py4j
pip install pyspark==3.3.1

4. 验证配置 #

打开PowerShell，执行以下命令验证：

# 检查Java环境
java -version
echo $env:JAVA_HOME

# 启动PySpark
pyspark

内容的提问来源于stack exchange，提问作者Lyn Stanford