macOS下Spark版本切换失效：无法从3.2.1切换至3.2.0

排查当前无法切换版本的原因 #

1. 执行以下命令，查看系统当前调用的spark-shell路径：

   which spark-shell
   

   若输出指向sdkman管理的3.2.1版本目录（如/Users/A2001/.sdkman/candidates/spark/current/bin/spark-shell），说明PATH中sdkman的Spark路径优先级高于你手动配置的路径。
2. 执行echo $PATH检查PATH顺序，若sdkman相关路径出现在$SPARK_HOME/bin之前，系统会优先加载旧版本。

解决当前切换到3.2.0的步骤 #

1. 调整PATH顺序：修改.zshrc，将自定义Spark的bin目录放在PATH最前端，确保优先被识别：

   export JAVA_HOME=/Library/Java/JavaVirtualMachines/adoptopenjdk-8.jdk/Contents/Home
   #export SPARK_HOME=/Users/A2001/.sdkman/candidates/spark/3.2.1
   export SPARK_HOME=/Users/A2001/Downloads/spark-3.2.0-bin-hadoop3.2
   export MAVEN_HOME=~/apache-maven-3.8.6
   # 将SPARK相关路径移到PATH最前面
   export PATH=$SPARK_HOME/bin:$SPARK_HOME/sbin:$MAVEN_HOME/bin:$PATH
   

2. 检查sdkman加载顺序：如果.zshrc中存在sdkman-init.sh的初始化代码，需将上述SPARK配置放在sdkman初始化代码之后，避免sdkman的路径覆盖你的配置。
3. 刷新环境变量并清除命令缓存：

   source ~/.zshrc
   hash -r  # 清除系统命令缓存，让系统重新查找spark-shell路径
   

4. 再次执行spark-shell --version验证版本是否切换成功。

频繁切换Spark版本的方案 #

方案一：使用别名快速切换 #

在.zshrc中添加以下别名，每次切换只需输入对应命令：

# 切换到Spark 3.2.0
alias spark320='export SPARK_HOME=/Users/A2001/Downloads/spark-3.2.0-bin-hadoop3.2; export PATH=$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH; echo "Switched to Spark 3.2.0"'
# 切换到Spark 3.2.1
alias spark321='export SPARK_HOME=/Users/A2001/.sdkman/candidates/spark/3.2.1; export PATH=$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH; echo "Switched to Spark 3.2.1"'

使用时直接在终端输入spark320或spark321，即可立即切换版本。

方案二：用sdkman统一管理所有版本 #

将手动下载的3.2.0版本加入sdkman候选列表，利用sdkman自带的版本管理功能：

1. 执行命令添加手动版本：

   sdk install spark 3.2.0 /Users/A2001/Downloads/spark-3.2.0-bin-hadoop3.2
   

2. 临时切换版本（仅当前终端会话生效）：

   sdk use spark 3.2.0
   

3. 设置默认版本（永久生效）：

   sdk default spark 3.2.0
   

这种方式无需手动修改环境变量，sdkman会自动处理SPARK_HOME和PATH配置，更适合频繁切换场景。

内容的提问来源于stack exchange，提问作者SherKhan