PySpark 3.3.2在Jupyter Notebook启动SparkSession报FileNotFoundError

核心问题定位 #

报错根源是SPARK_HOME路径格式异常，导致拼接spark-submit.cmd时出现C:\spark\spark-3.3.2-bin-hadoop2./bin/spark-submit.cmd这种错误路径。

1. 修正SPARK_HOME环境变量 #

• 检查系统环境变量中的SPARK_HOME，确保路径末尾无斜杠/反斜杠/点，正确格式应为C:\spark\spark-3.3.2-bin-hadoop2
• 修改环境变量后必须重启Jupyter Notebook，否则新的环境变量不会生效
• 若不想重启系统，可在Notebook开头临时修正路径：

  import os
  # 移除路径末尾的斜杠、反斜杠或多余字符
  os.environ['SPARK_HOME'] = os.environ['SPARK_HOME'].rstrip('\\/.')
  

2. 绑定PySpark与当前Python环境 #

• 确保PySpark版本与下载的Spark包版本一致，执行以下命令检查并对齐版本：

  pip show pyspark
  # 若版本不匹配，重装对应版本
  pip uninstall pyspark -y
  pip install pyspark==3.3.2
  

• 在Spark配置中明确指定当前Notebook使用的Python解释器，避免Spark找不到Python：

  from pyspark.sql import SparkSession
  from pyspark import SparkConf
  import sys
  
  conf = SparkConf()
  # 绑定当前Jupyter的Python路径
  conf.set("spark.pyspark.python", sys.executable)
  conf.set("spark.pyspark.driver.python", sys.executable)
  
  spark = SparkSession.builder.config(conf=conf).getOrCreate()
  

3. 验证Spark文件完整性 #

• 手动检查C:\spark\spark-3.3.2-bin-hadoop2\bin\spark-submit.cmd是否存在，若不存在则重新下载解压Spark包
• 确保Spark安装路径无空格、中文或特殊字符，建议将包移到更简洁的路径（如C:\spark\spark332）

4. 重置Jupyter内核 #

• 关闭所有Jupyter窗口，打开命令提示符执行：

  # 查看当前内核列表
  jupyter kernelspec list
  # 删除旧的ipykernel（替换成列表中显示的ipykernel路径）
  jupyter kernelspec remove python3
  # 重新安装内核
  python -m ipykernel install --user
  

• 重启命令提示符和Jupyter，再运行Spark初始化代码

内容的提问来源于stack exchange，提问作者caffeinerecovery