Windows 10运行Apache Spark提示系统找不到指定路径如何解决
Spark启动报错解决方案
1 修正系统变量PATH的语法错误
你当前系统PATH配置存在路径拼接错误,是触发报错的直接原因:
- 错误配置:
%SCALA_HOME%bin缺少路径分隔反斜杠,修改为%SCALA_HOME%\bin - 可选校验:确认
%PYTHON_HOME%对应路径实际存在,如存在Python调用异常可补充为%PYTHON_HOME%\
2 修正winutils.exe存放位置
你将winutils.exe放在C:\Hadoop根目录不符合要求,必须移动到C:\Hadoop\bin目录下,同时确认该目录下存在对应Hadoop版本的hadoop.dll文件,缺失可单独下载放入。
3 修复JDK版本兼容问题
你使用的Spark 3.0.3官方最高支持JDK 11,当前安装的JDK 17属于跨大版本,会存在兼容性问题,建议降级安装JDK 8或JDK 11,同时同步修改JAVA_HOME环境变量为新的JDK安装路径。
4 验证配置生效
所有环境变量修改完成后,必须关闭所有已打开的CMD窗口,重新打开新窗口执行以下命令校验配置:
echo %JAVA_HOME% echo %SCALA_HOME% echo %HADOOP_HOME% echo %SPARK_HOME%
所有路径输出和实际安装路径一致后,再执行spark-shell启动即可。
内容的提问来源于stack exchange,提问作者raj
相关产品推荐
相关产品推荐

