MacOS下Jupyter Notebook无法导入PySpark问题求助
解决MacOS下Jupyter Notebook无法导入PySpark的问题
方法1:手动添加PySpark路径到Jupyter环境
终端执行命令,获取PySpark的安装路径:
pip show pyspark复制输出里的
Location字段值(比如/usr/local/lib/python3.10/site-packages)在Jupyter Notebook的代码最开头添加:
import sys sys.path.append("你的PySpark安装路径") from pyspark.sql import SparkSession
方法2:将PySpark所在Python环境设为Jupyter内核
终端执行命令,确认当前能运行PySpark的Python路径:
which python3得到路径(比如
/usr/local/bin/python3)安装并添加内核:
pip install ipykernel python3 -m ipykernel install --user --name=pyspark_env重启Jupyter Notebook,在页面右上角选择
pyspark_env内核,再执行导入代码。
方法3:直接通过PySpark启动Jupyter
终端执行以下命令,会自动打开关联了PySpark环境的Jupyter Notebook:
pyspark --master local[*] --ipython notebook
内容的提问来源于stack exchange,提问作者Sophia
相关产品推荐
相关产品推荐

