Spark主从节点路径不一致启动slaves报错问题求助

这个报错的核心原因很直白：start-slaves.sh脚本默认会把Master节点上的SPARK_HOME环境变量同步给Slave节点，可你现在已经修改了Slave节点的Spark安装路径，脚本还在往旧路径里钻，自然会触发cd找不到目录的错误。下面给你几个实用的解决办法：

方法一：给Slave节点配置本地SPARK_HOME #

• 分别登录两个Slave节点，进入新Spark路径下的配置目录：

  cd ~/spark2/spark-2.2.0-bin-hadoop2.7/conf
  

• 如果还没有spark-env.sh文件，先复制模板生成：

  cp spark-env.sh.template spark-env.sh
  

• 编辑spark-env.sh，添加Slave节点专属的SPARK_HOME配置：

  export SPARK_HOME=~/spark2/spark-2.2.0-bin-hadoop2.7
  

• 保存退出后回到Master节点，重新执行start-slaves.sh，脚本会自动读取Slave节点本地的环境变量配置。

方法二：修改Master节点的slaves配置文件，指定Slave节点路径 #

• 在Master节点进入自身Spark的配置目录：

  cd ~/spark/spark-2.2.0-bin-hadoop2.7/conf
  

• 打开slaves文件，把原来的slave1、slave2条目改成带路径的格式：

  slave1:~/spark2/spark-2.2.0-bin-hadoop2.7
  slave2:~/spark2/spark-2.2.0-bin-hadoop2.7
  

• 保存后重新执行start-slaves.sh，脚本会按照你指定的路径去Slave节点启动服务。

方法三：手动通过SSH启动Slave节点 #

如果不想改配置文件，也可以直接在Master节点针对每个Slave执行启动命令，明确指定Slave的Spark路径：

ssh slave1 "~/spark2/spark-2.2.0-bin-hadoop2.7/sbin/start-slave.sh spark://master:7077"
ssh slave2 "~/spark2/spark-2.2.0-bin-hadoop2.7/sbin/start-slave.sh spark://master:7077"

注意把命令里的master换成你Master节点的实际主机名或IP地址。

额外提醒 #

• 启动完成后，可以通过Master节点的Web UI（默认地址http://master:8080）检查Slave节点是否成功上线。
• 后续如果再有节点修改Spark路径，记得同步更新对应配置，避免重复踩坑。

内容的提问来源于stack exchange，提问作者pac