Windows11下执行spark-shell提示找不到路径的解决方案咨询

以下是具体排查和解决步骤：

• 检查环境变量配置细节

  1. 去掉环境变量Path中Spark、Hadoop路径的引号：Windows环境变量中，路径不含空格时无需加引号，添加引号反而会导致系统识别路径错误。确保Path中的条目是C:\BigData\spark-3.1.2-bin-hadoop3.2、C:\BigData\spark-3.1.2-bin-hadoop3.2\sbin、C:\BigData\spark-3.1.2-bin-hadoop3.2\bin、C:\BigData\hadoop-3.2.2\bin，没有多余引号。
  2. 验证路径真实性：打开文件资源管理器，逐一确认上述路径对应的文件夹是否存在，检查版本号、拼写是否完全一致（比如spark-3.1.2-bin-hadoop3.2是否确实是下载解压后的文件夹名）。

• 确认JAVA_HOME配置正确性

  1. JAVA_HOME必须指向JDK 1.8的根目录，比如C:\Program Files\Java\jdk1.8.0_301，不能指向bin子目录，也不能添加引号。
  2. 确保%JAVA_HOME%\bin已添加到系统环境变量的Path中，且JAVA_HOME配置在系统变量而非用户变量中。

• 配置Spark的环境变量文件

  1. 进入Spark的conf目录：C:\BigData\spark-3.1.2-bin-hadoop3.2\conf
  2. 将spark-env.cmd.template复制一份，重命名为spark-env.cmd
  3. 打开spark-env.cmd，添加一行配置：set JAVA_HOME=C:\Program Files\Java\jdk1.8.0_xxx（替换为你的实际JDK路径，路径用单反斜杠即可）

• 补充Hadoop的Windows依赖文件
  Windows下运行基于Hadoop的Spark需要依赖winutils.exe和hadoop.dll：

  1. 下载与Hadoop 3.2.2版本匹配的winutils包，将其中的winutils.exe放到C:\BigData\hadoop-3.2.2\bin目录下
  2. 将包中的hadoop.dll复制到C:\Windows\System32目录下

• 重启命令行窗口
  修改环境变量和配置文件后，必须关闭当前所有cmd/PowerShell窗口，重新打开一个新窗口再执行spark-shell命令，确保新的环境变量生效。

• 直接执行完整路径测试
  如果上述步骤无效，尝试直接运行spark-shell的完整路径：

  C:\BigData\spark-3.1.2-bin-hadoop3.2\bin\spark-shell.cmd
  

  如果能正常运行，说明Path环境变量的配置仍有问题，重新检查Path中的Spark bin路径是否正确添加。

内容的提问来源于stack exchange，提问作者fatiha chaibi