Conda环境运行Pyspark报SPARK_HOME配置错误、找不到py4j如何解决

根因说明 #

两个报错均由两个核心问题导致：一是SPARK_HOME路径配置与Homebrew安装的Spark实际目录结构不匹配，二是Spark运行脚本缺少执行权限。

具体操作步骤 #

• 第一步：修正环境变量配置
  编辑你的~/.bashrc文件，替换原有Spark相关配置为以下内容：

  export JAVA_HOME=`/usr/libexec/java_home`
  # Homebrew安装的Spark运行文件均在libexec目录下，SPARK_HOME直接指向该目录
  export SPARK_HOME=/usr/local/Cellar/apache-spark/3.1.2/libexec
  export PYTHONPATH=$SPARK_HOME/python:$PYTHONPATH
  # 可先到/usr/local/Cellar/apache-spark/3.1.2/libexec/python/lib/目录确认py4j的实际文件名，和下方配置保持一致即可
  export PYTHONPATH=$SPARK_HOME/python/lib/py4j-0.10.9-src.zip:$PYTHONPATH
  export PATH=$SPARK_HOME/bin:$PATH
  

  注意：如果你使用的是Mac默认的zsh终端，需要把上述配置也写入~/.zshrc，或者在~/.zshrc末尾添加source ~/.bashrc，保证环境变量全局生效。
  保存后执行source ~/.bashrc（zsh用户执行source ~/.zshrc）让配置立即生效。

• 第二步：修复Spark脚本执行权限
  执行以下命令给Spark的运行脚本加执行权限，解决Permission denied报错：

  sudo chmod -R +x /usr/local/Cellar/apache-spark/3.1.2/libexec/bin/
  

• 第三步：同步Jupyter内核的环境变量
  启动Jupyter前，先在终端激活你使用的conda环境conda activate env，再在同一个终端窗口执行jupyter notebook启动服务，保证内核能继承正确的环境变量。
  如果仍要使用findspark，可以直接手动传入Spark路径避免环境变量读取失败：

  import findspark
  findspark.init(spark_home="/usr/local/Cellar/apache-spark/3.1.2/libexec")
  

内容的提问来源于stack exchange，提问作者8-Bit Borges