多Spark版本集群中，如何切换至Spark 2以使用Scala CLI

我来帮你梳理下在公司集群命令行切换到Spark 2并使用Scala探索的步骤，毕竟多版本Spark共存的集群确实容易踩小坑：

首先得搞清楚当前默认用的是哪个版本，以及Spark 2具体装在哪：

• 执行 spark-submit --version 或者 spark-shell --version，输出里会明确显示当前生效的Spark版本。
• 如果不知道Spark 2的路径，可以试试用 find / -name "spark-2*" 2>/dev/null 查找（后面的2>/dev/null是过滤掉权限不够的报错），集群里Spark一般会装在/opt/spark、/usr/local/spark这类目录下，Spark 2的目录名通常是spark-2.4.x这种格式。

你已经尝试改PATH了，但光改PATH可能不够，还得设置SPARK_HOME——这是Spark CLI工具依赖的核心环境变量：

临时生效（仅当前终端会话） #

在命令行里直接执行：

export SPARK_HOME=/实际的Spark2安装路径
export PATH=$SPARK_HOME/bin:$PATH

记得把/实际的Spark2安装路径替换成你找到的Spark 2目录，比如/opt/spark/spark-2.4.8。

永久生效（后续登录自动切换） #

如果想每次登录集群都默认用Spark 2，编辑你的个人配置文件：

• 如果用bash，编辑~/.bashrc或者~/.bash_profile；如果是zsh，编辑~/.zshrc。
• 在文件末尾添加上面那两行export命令，保存后执行source ~/.bashrc（对应你编辑的文件）让配置立即生效。

设置完后，用这两个方法确认：

• 执行 spark-shell --version，输出的版本号应该变成Spark 2.x，同时会显示配套的Scala版本（Spark 2一般搭配Scala 2.11或2.12，看集群安装的包）。
• 直接启动 spark-shell，进入交互式Scala环境后，左上角的欢迎信息里会明确标注Spark版本，这时候就可以写Scala代码探索Spark了。

很多公司集群会用module工具统一管理多版本软件，如果你没试过，可以试试：

• 执行 module avail spark，看看输出里有没有spark/2.x.x这类条目。
• 如果有的话，先卸载当前的Spark模块（如果已加载）：module unload spark，再加载Spark 2：module load spark/2.x.x。这种方式比手动改PATH更省心，集群管理员已经帮你配置好了所有依赖的环境变量。

如果改了PATH还是没生效，可能是这两个原因：

• 原来的Spark路径在PATH里的优先级更高：要确保$SPARK_HOME/bin放在PATH的最前面，这样系统会优先找Spark 2的命令。
• Shell缓存了旧的命令路径：执行 hash -r 清除shell的命令缓存，再重新验证版本。

内容的提问来源于stack exchange，提问作者user2205916