macOS运行PySpark时出现AttributeError及权限问题怎么解决？

一、修复AttributeError: 'NoneType' object has no attribute 'origin'错误 #

该问题源于系统无法定位PySpark安装路径，或是当前Python环境未关联brew安装的PySpark，可按以下步骤解决：

• 确认PySpark安装路径
  执行命令找到brew安装的apache-spark位置：

  brew info apache-spark
  

  输出中会包含类似/opt/homebrew/Cellar/apache-spark/3.3.1的路径，记录该路径。

• 配置环境变量
  编辑zsh配置文件~/.zshrc，添加以下内容（替换为你实际的安装路径）：

  export SPARK_HOME=/opt/homebrew/Cellar/apache-spark/3.3.1/libexec
  export PYSPARK_PYTHON=$(which python3)
  export PATH=$SPARK_HOME/bin:$PATH
  

• 生效配置并验证
  执行命令让配置生效：

  source ~/.zshrc
  

  验证环境变量是否正确：

  echo $SPARK_HOME
  echo $PYSPARK_PYTHON
  

二、修复权限错误Permission denied #

修改路径后出现权限问题，通常是load-spark-env.sh缺少执行权限，或是手动修改脚本导致路径错误，可按以下操作处理：

• 恢复原始脚本（若曾修改过）
  若之前手动修改过/opt/homebrew/bin/pyspark，执行命令重新安装apache-spark恢复默认配置：

  brew reinstall apache-spark
  

• 添加执行权限
  进入Spark的bin目录，检查并添加执行权限：

  cd /opt/homebrew/Cellar/apache-spark/3.3.1/libexec/bin
  chmod +x load-spark-env.sh
  

• 重新启动PySpark
  完成上述配置后，直接运行命令：

  pyspark
  

额外排查点 #

• 若使用虚拟环境，确保激活环境后PYSPARK_PYTHON指向虚拟环境内的Python，而非系统Python。
• 先执行brew update更新brew，再重新安装apache-spark，避免版本兼容问题。

内容的提问来源于stack exchange，提问作者DrRaspberry