pip安装pyspark后CMD执行pyspark命令报错，寻求解决方案

• 检查Java环境配置
  PySpark依赖Java 8或11（高版本如17可能存在兼容问题），先执行java -version确认版本是否符合要求。未安装的话，下载对应版本的OpenJDK或Oracle JDK，然后配置环境变量：

  • 新建JAVA_HOME系统变量，值为Java安装根目录（例如C:\Program Files\Java\jdk1.8.0_391）
  • 将%JAVA_HOME%\bin添加到Path环境变量中

• 手动指定Spark路径
  pip安装的PySpark可能未自动配置SPARK_HOME，可以临时在CMD中执行以下命令（也可添加到系统环境变量永久生效）：

  set SPARK_HOME=C:\Users\你的用户名\AppData\Local\Programs\Python\PythonXX\Lib\site-packages\pyspark
  set PATH=%SPARK_HOME%\bin;%PATH%
  

  配置完成后重新运行pyspark命令。

• 清理缓存重新安装PySpark
  若pip安装的文件存在损坏，执行以下命令重装：

  pip uninstall -y pyspark
  pip install pyspark --no-cache-dir
  

• 验证Python与PySpark版本兼容性
  不同PySpark版本对Python版本有要求：例如PySpark 3.3.x支持Python 3.7-3.10，3.4.x支持3.8-3.11。执行python --version确认版本，若不兼容，可安装对应版本的PySpark（如pip install pyspark==3.3.0）或更换Python版本。

• 尝试通过Python脚本启动
  如果pyspark命令仍无法正常运行，可编写简单脚本测试：

  from pyspark.sql import SparkSession
  
  spark = SparkSession.builder.appName("PySparkTest").getOrCreate()
  print(f"PySpark版本: {spark.version}")
  spark.stop()
  

  执行python 脚本文件名.py，若能正常运行，说明是命令行启动脚本的问题，可优先用脚本方式使用PySpark。

内容的提问来源于stack exchange，提问作者Deepen Gajjar