如何通过Homebrew安装特定版本Apache Spark(3.3.1)?
如何通过Homebrew安装指定版本的Apache Spark 3.3.1
之前使用brew install apache-spark能安装到3.3.1版本,但当前Homebrew默认安装3.3.2版本,该版本与Azure服务器不兼容。尝试brew install apache-spark@3.3.1失败,提示无对应公式,以下是可行的安装流程:
方法一:通过Homebrew历史公式安装
1. 查找3.3.1版本对应的公式提交哈希
执行命令查看Apache Spark公式的历史提交记录:
brew log apache-spark
在输出日志中找到包含「3.3.1」版本的提交条目,复制该条目的commit哈希值(一串由字母和数字组成的字符串)。
2. 安装指定历史版本
将复制的哈希值替换到下方命令的[COMMIT_HASH]位置,执行安装:
brew install https://raw.githubusercontent.com/Homebrew/homebrew-core/[COMMIT_HASH]/Formula/apache-spark.rb
3. 锁定版本防止自动升级
安装完成后,执行以下命令锁定该版本,避免后续brew upgrade自动更新:
brew pin apache-spark
若后续需要解锁升级,执行:
brew unpin apache-spark
方法二:手动下载二进制包安装
如果Homebrew历史公式安装遇到问题,可直接手动安装:
- 从Apache Spark官方下载页面获取3.3.1版本的二进制包(选择适配你的Hadoop版本的包)
- 将压缩包解压到指定目录,例如
/usr/local/Cellar/apache-spark/3.3.1 - 配置环境变量:在
~/.zshrc(或~/.bashrc,取决于你使用的shell)中添加以下内容:
export SPARK_HOME=/usr/local/Cellar/apache-spark/3.3.1 export PATH=$SPARK_HOME/bin:$PATH
执行source ~/.zshrc(或对应配置文件)使环境变量生效。
内容的提问来源于stack exchange,提问作者WestCoastProjects
相关产品推荐
相关产品推荐

