使用Docker镜像搭建Spark集群后无法启动spark-shell提交Scala文件怎么办

报错bash: spark-shell: command not found的核心原因是你使用的Docker镜像未将Spark的可执行文件目录默认加入系统PATH环境变量，而非缺少Scala运行环境，无需单独安装Scala，可按以下步骤操作：

前置检查 #

先执行如下命令确认spark-shell可执行文件存在：

ls /opt/spark/bin | grep spark-shell

如果有输出说明文件位置正常，按后续方案操作即可；如果无输出说明当前镜像的Spark部署路径异常，需要调整到实际的Spark安装路径。

解决方案 #

1. 直接使用全路径执行 #

你当前处于/opt/spark目录下，可直接调用bin目录内的可执行文件：

• 启动交互式spark-shell：

./bin/spark-shell

• 运行指定Scala脚本，需添加-i参数：

./bin/spark-shell -i /home/shangupta/Scripts/input.scala

• 提交Scala作业到集群运行更推荐使用spark-submit：

./bin/spark-submit --class 你的主类全路径名 打包后的jar包路径

2. 配置PATH简化后续调用 #

如果不想每次都输入全路径，执行如下命令临时将Spark可执行目录加入PATH：

export PATH=$PATH:/opt/spark/bin

要永久生效的话，将上述命令写入/root/.bashrc文件，下次进入容器时会自动加载配置，之后可直接使用spark-shell、spark-submit等命令。

内容的提问来源于stack exchange，提问作者Shantanu Gupta