Spark-submit执行报错：找不到2.2.0版本spark-class路径的问题排查

这问题我之前帮朋友排查过类似的，大概率是Spark安装脚本里的路径配置出问题了——虽然你装的是2.3.0，但spark-submit脚本内部可能还在引用旧版本2.2.0的路径，和你设置的环境变量没关系。

为什么会出现这个错误？ #

• 你执行的/usr/local/Cellar/apache-spark/2.3.0/libexec/bin/spark-submit脚本第27行，硬编码了2.2.0版本的spark-class路径，但这个路径因为你没装过2.2.0所以不存在，直接导致报错。
• 这种情况通常是Homebrew安装Spark时的残留问题：比如之前装过2.2.0，卸载时没清理干净脚本模板；或者2.3.0的安装包本身有编译残留，把旧版本路径写进了脚本里。

解决方法（按优先级尝试） #

1. 先确认脚本里的错误路径 #

执行以下命令查看报错行的内容：

cat /usr/local/Cellar/apache-spark/2.3.0/libexec/bin/spark-submit | sed -n '27p'

如果输出确实是/usr/local/Cellar/apache-spark/2.2.0/libexec/bin/spark-class，那就能确定是脚本硬编码的问题。

2. 手动修复脚本里的路径 #

• 用编辑器打开spark-submit脚本：

vim /usr/local/Cellar/apache-spark/2.3.0/libexec/bin/spark-submit

• 全局查找所有2.2.0的字符串，替换成2.3.0（vim里可以用:%s/2.2.0/2.3.0/g命令批量替换）。
• 保存退出后，再执行你的提交命令：

/usr/local/Cellar/apache-spark/2.3.0/libexec/bin/spark-submit sdp-consumer.py

3. 临时绕过错误（快速验证） #

如果不想修改脚本，可以手动指定SPARK_HOME环境变量再执行命令，强制脚本使用正确的路径：

SPARK_HOME=/usr/local/Cellar/apache-spark/2.3.0/libexec /usr/local/Cellar/apache-spark/2.3.0/libexec/bin/spark-submit sdp-consumer.py

4. 彻底重装Spark（如果上面方法都无效） #

• 先卸载现有版本：

brew uninstall apache-spark

• 清理残留的目录和配置：

rm -rf /usr/local/Cellar/apache-spark
rm -rf ~/.sparkrc

• 重新安装2.3.0版本（如果brew官方仓库还有这个版本）：

brew install apache-spark@2.3.0

• 安装完成后，先验证版本：

spark-submit --version

确认显示的是2.3.0后，再运行你的Python脚本。

内容的提问来源于stack exchange，提问作者Joe