Windows无法识别PySpark安装，spark/pyspark命令执行失败求助

一、修复环境变量不生效问题 #

• 关闭所有已打开的命令提示符、VS Code窗口，重新启动后再执行echo %SPARK_HOME%和echo %PYSPARK_PYTHON%，系统变量修改后必须重启终端才能加载新值。
• 修正变量配置：
  • PYSPARK_PYTHON：Windows环境下无需设为python3，直接指定Python.exe的完整路径，例如[userdir]\AppData\Local\Programs\Python\Python311\python.exe。
  • SPARK_HOME：你的设置是正确的，路径为[userdir]\AppData\Local\Programs\Python\Python311\Lib\site-packages\pyspark，无需指向bin目录。

二、解决spark/pyspark命令无法识别问题 #

• 将PySpark的bin目录添加到系统Path变量中，路径为%SPARK_HOME%\bin（或直接写完整路径[userdir]\AppData\Local\Programs\Python\Python311\Lib\site-packages\pyspark\bin）。
• 配置完成后重启终端：
  • 执行pyspark --version即可正常显示版本信息；
  • Windows下没有直接的spark命令，对应的是spark-shell.cmd，执行spark-shell.cmd --version即可查看Spark版本，或直接敲spark-shell启动Spark Scala Shell。

三、本地运行PySpark的替代验证方法 #

如果命令行问题仍未解决，可直接通过Python代码验证PySpark是否能正常工作，创建如下脚本运行：

from pyspark.sql import SparkSession

# 初始化本地Spark会话
spark = SparkSession.builder \
    .master("local[1]") \
    .appName("LocalPySparkTest") \
    .getOrCreate()

# 创建测试DataFrame并输出
test_df = spark.createDataFrame([(1, "hello"), (2, "pyspark")], ["id", "content"])
test_df.show()

# 关闭会话
spark.stop()

若脚本能正常输出DataFrame内容，说明PySpark核心功能正常，仅命令行快捷方式配置存在小问题。

内容的提问来源于stack exchange，提问作者Dazzlin Dave