Windows 10下Anaconda环境PySpark启动异常排查求助

核心问题梳理 #

• 环境变量配置不全/错误导致Python路径识别异常
• 启动脚本中RUNNER变量尾空格引发命令解析错误
• Spark依赖的HADOOP_HOME未配置导致警告
• Java类路径错误引发org.apache.spark.launcher.Main找不到的问题

分步修复步骤 #

1. 修正环境变量配置 #

确保以下环境变量设置正确（替换为你的实际路径）：

• PYSPARK_DRIVER_PYTHON: python（或Anaconda虚拟环境的python.exe绝对路径，比如C:\Users\你的用户名\anaconda3\envs\spark_env\python.exe）
• PYSPARK_PYTHON: 同PYSPARK_DRIVER_PYTHON
• PYTHONPATH: %SPARK_HOME%\python;%SPARK_HOME%\python\lib\py4j-xx.xx-src.zip（替换xx.xx为Spark对应的py4j版本）
• SPARK_HOME: Spark安装根目录（比如C:\spark-3.5.0-bin-hadoop3）
• HADOOP_HOME: 配置Windows版Hadoop环境（可使用winutils，路径比如C:\hadoop）
• 把%SPARK_HOME%\bin和%HADOOP_HOME%\bin添加到系统PATH中

2. 修复启动脚本的RUNNER变量尾空格问题 #

找到spark-submit2.cmd（位于%SPARK_HOME%\bin目录），定位到定义RUNNER的行：

set RUNNER=%JAVA_HOME%\bin\java.exe 

去掉行尾的空格，改为：

set RUNNER=%JAVA_HOME%\bin\java.exe

这个尾空格会导致后续拼接的Java命令出现多余空格，引发"] was unexpected at this time"解析错误。

3. 解决org.apache.spark.launcher.Main找不到的问题 #

检查SPARK_HOME是否正确配置，确保%SPARK_HOME%\jars目录下存在spark-launcher_xx-3.5.0.jar（xx为Scala版本，比如2.12）。如果缺失，重新下载对应版本的Spark预编译包（带Hadoop的版本更省心）。

4. 消除HADOOP相关警告与心跳超时 #

• 下载对应Hadoop版本的winutils.exe，放到%HADOOP_HOME%\bin目录
• 新建%HADOOP_HOME%\etc\hadoop\hadoop-env.cmd，添加：

set HADOOP_OPTS=-Djava.library.path=%HADOOP_HOME%\bin

• 对于心跳超时，可在%SPARK_HOME%\conf\spark-defaults.conf中添加：

spark.driver.extraJavaOptions -Dspark.network.timeout=800s
spark.executor.extraJavaOptions -Dspark.network.timeout=800s

5. 处理非法反射访问警告 #

这是Java版本（比如Java 11+）与Spark旧版本的兼容性问题，可在spark-defaults.conf中添加：

spark.driver.extraJavaOptions --add-opens java.base/java.lang=ALL-UNNAMED --add-opens java.base/java.io=ALL-UNNAMED --add-opens java.base/java.util=ALL-UNNAMED --add-opens java.base/java.util.concurrent=ALL-UNNAMED --add-opens java.base/java.net=ALL-UNNAMED --add-opens java.base/java.nio=ALL-UNNAMED --add-opens java.base/java.security=ALL-UNNAMED --add-opens java.base/java.math=ALL-UNNAMED --add-opens java.base/java.text=ALL-UNNAMED --add-opens java.base/java.time=ALL-UNNAMED
spark.executor.extraJavaOptions --add-opens java.base/java.lang=ALL-UNNAMED --add-opens java.base/java.io=ALL-UNNAMED --add-opens java.base/java.util=ALL-UNNAMED --add-opens java.base/java.util.concurrent=ALL-UNNAMED --add-opens java.base/java.net=ALL-UNNAMED --add-opens java.base/java.nio=ALL-UNNAMED --add-opens java.base/java.security=ALL-UNNAMED --add-opens java.base/java.math=ALL-UNNAMED --add-opens java.base/java.text=ALL-UNNAMED --add-opens java.base/java.time=ALL-UNNAMED

验证步骤 #

1. 关闭所有Conda提示符，重新打开
2. 激活你的Anaconda虚拟环境（如果使用）：conda activate spark_env
3. 运行pyspark，确认无"] was unexpected at this time"错误，能正常进入Spark Python提示符，且警告信息大幅减少

内容的提问来源于stack exchange，提问作者user2153235