为何spark.version与安装的PySpark版本不一致？如何运行3.5.0版本？

当前实际运行的Spark版本 #

实际运行的是3.4.0版本。pip show pyspark显示的是你安装的Python API包版本，但spark.version输出的是Spark底层运行时的版本——这说明你的环境里存在另一个3.4.0版本的Spark运行时，并且被优先加载了。

确保运行Spark 3.5.0的解决步骤 #

• 检查并调整环境变量：查看系统中是否设置了SPARK_HOME环境变量，如果它指向的是Spark 3.4.0的安装目录，要么将其修改为Spark 3.5.0的路径，要么直接删除该环境变量（PySpark包自带了Spark运行时，无需额外安装Spark）。
• 确认虚拟环境激活状态：确保运行代码前已激活安装了PySpark 3.5.0的虚拟环境，比如在Windows下执行.\venv2\Scripts\activate，再运行你的Python脚本。
• 使用虚拟环境内的Python解释器执行代码：直接调用虚拟环境中的Python来运行脚本，避免使用系统默认Python，比如执行.\venv2\Scripts\python.exe your_script.py（Windows）或./venv2/bin/python your_script.py（Linux/macOS）。
• 重装PySpark：先卸载现有PySpark包，再重新安装指定版本：

  pip uninstall pyspark -y
  pip install pyspark==3.5.0
  

• 清理旧Spark残留：如果之前手动安装过Spark，检查系统路径中是否还有旧版本的Spark可执行文件或jar包，将其移除。

内容的提问来源于stack exchange，提问作者Kai Roesner