Mac Big Sur 11.1下如何将apache-spark指向Python 3.8(未找到.bash_profile)
macOS Big Sur 11.1 下 Apache Spark 切换指定 Python 3.8 的操作步骤
核心配置逻辑
Apache Spark 默认会优先读取 PYSPARK_PYTHON 和 PYSPARK_DRIVER_PYTHON 两个环境变量来定位Python解释器,不会强制走系统自带的Python 2.7路径,全程不需要修改Spark的启动脚本。
第一步:确认Python 3.8的实际安装路径
- 打开终端执行
which python3,把输出的绝对路径完整记下来 - 常见的路径分为两类:
- Homebrew安装的Python 3.8:Intel芯片Mac路径一般为
/usr/local/bin/python3,Apple Silicon芯片Mac路径为/opt/homebrew/bin/python3 - 从Python官网下载安装包安装的Python 3.8:路径一般为
/Library/Frameworks/Python.framework/Versions/3.8/bin/python3
- Homebrew安装的Python 3.8:Intel芯片Mac路径一般为
第二步:解决找不到.bash_profile的问题
- macOS Big Sur 11.1 从系统层面已经把默认终端shell切换为zsh,不再自动加载bash对应的
.bash_profile配置,你找不到这个文件属于正常现象,不需要强行创建该文件做配置,直接使用zsh的专属配置文件即可。 - 终端执行
nano ~/.zshrc打开配置文件(如果文件不存在,nano工具会自动创建空白配置文件) - 在编辑界面内,把之前记录的Python 3.8路径替换到下面两行配置里,粘贴进去:
export PYSPARK_PYTHON=你的Python3.8绝对路径 export PYSPARK_DRIVER_PYTHON=你的Python3.8绝对路径 - 按
Ctrl+O触发保存,按回车确认文件名,再按Ctrl+X退出nano编辑器 - 执行
source ~/.zshrc让配置立刻生效,不需要重启终端
第三步:验证配置效果
- 直接在终端执行
pyspark,之前弹出的Python 2.7弃用警告会直接消失 - 进入PySpark交互界面后,输入以下代码校验版本:
只要输出对应Python 3.8的版本号,就说明Spark已经成功指向目标Python版本。import sys print(sys.version)
注意事项
- 配置时不要偷懒把路径简写成
python3,多版本Python共存的环境下,软链接变动很容易导致Spark重新指错解释器 - 这种环境变量配置方式是Spark官方推荐的无侵入方案,后续升级Spark版本不需要重新调整配置
- 如果你后续主动把终端shell切回bash,再编辑
.bash_profile添加完全相同的两行环境变量即可,不影响现有zsh的配置
内容的提问来源于stack exchange,提问作者bobby
相关产品推荐
相关产品推荐

