Kali系统pip3包Python无法识别及PyCharm导入pyspark报错问题求助
问题解决步骤
1. 修复PyCharm Python解释器版本不匹配问题
你当前pip3对应的是Python 3.9环境,所有通过pip3安装的包都存放在3.9的库路径下,但PyCharm当前使用的是Python 3.7的虚拟环境,这是import pyspark失败的核心原因,修复步骤如下:
- 打开当前PyCharm项目,依次点击
File→Settings→Project: 你的项目名→Python Interpreter - 点击解释器右侧的齿轮图标,选择
Add - 左侧选择
System Interpreter,右侧路径选择/usr/bin/python3.9,点击OK保存 - 等待PyCharm加载索引完成后,执行
import pyspark测试是否能正常导入,如果仍导入失败,打开PyCharm底部的Terminal,执行pip3 install pyspark即可
2. 解决PyCharm _JAVA_OPTIONS环境变量冲突报错
该报错只会影响IDE本身的运行性能,不会干扰项目的运行逻辑,两种解决方式二选一即可:
- 方式一:全局移除_JAVA_OPTIONS变量
执行grep -r "_JAVA_OPTIONS" ~/检查所有用户配置文件(.bashrc、.profile、.zshrc等)中是否有该变量的export配置,找到后删除对应行,重启系统即可生效 - 方式二:仅在启动PyCharm时临时移除该变量
每次启动PyCharm时使用命令unset _JAVA_OPTIONS && ./pycharm.sh启动,不会影响全局环境变量配置,也不会干扰Spark的命令行使用
3. 配置PyCharm项目的Spark环境变量
图形界面启动的PyCharm默认不会加载.bashrc的配置,所以需要在项目运行配置中单独添加Spark相关环境变量,无需修改全局配置即可避免冲突:
- 打开PyCharm的运行配置:右上角当前运行文件的下拉框 →
Edit Configurations - 找到
Environment variables选项,点击右侧的文件夹图标 - 添加以下4个环境变量:
- SPARK_HOME:
/usr/local/spark - PATH:
$PATH:/usr/local/spark/bin - PYSPARK_PYTHON:
/usr/bin/python3.9 - PYSPARK_DRIVER_PYTHON:
/usr/bin/python3.9
- SPARK_HOME:
- 保存配置后运行代码即可正常使用PySpark
内容的提问来源于stack exchange,提问作者Jim Johnson
相关产品推荐
相关产品推荐

