本地运行PySpark遇Python路径问题，寻求无需逐文件配置的优解

你的问题根源是PySpark默认尝试调用python3命令，但你的环境中只有python指向正确的Python 3版本，导致PySpark无法找到正确的Python解释器，进而触发java.io.IOException。不用在每个代码文件开头添加环境变量设置代码，有以下几种更高效的解决方法：

1. 设置系统/用户级环境变量 #

这种方式一劳永逸，所有终端会话和PySpark任务都会自动读取这些配置：

• Windows系统：

  1. 打开「系统属性」→「高级」→「环境变量」
  2. 在「用户变量」或「系统变量」中添加两个新变量：
     • 变量名：PYSPARK_PYTHON，变量值：python（或你的Python可执行文件完整路径，比如C:\Python39\python.exe）
     • 变量名：PYSPARK_DRIVER_PYTHON，变量值：python（同上）
  3. 保存后重启终端，再运行PySpark即可生效。

• Linux/macOS系统：
  编辑你的shell配置文件（比如~/.bashrc、~/.zshrc，根据你使用的shell选择），添加以下内容：

  export PYSPARK_PYTHON=python
  export PYSPARK_DRIVER_PYTHON=python
  

  保存后执行source ~/.bashrc（或对应配置文件）使设置立即生效，后续新开终端会自动加载。

2. 修改Spark配置文件 #

这种方式仅针对Spark生效，不会影响系统其他环境：

1. 找到你的Spark安装目录，进入conf文件夹。
2. 根据系统创建对应的配置文件：
   • Linux/macOS：新建spark-env.sh文件，添加：

     export PYSPARK_PYTHON=python
     export PYSPARK_DRIVER_PYTHON=python
     

   • Windows：新建spark-env.cmd文件，添加：

     set PYSPARK_PYTHON=python
     set PYSPARK_DRIVER_PYTHON=python
     

3. 保存后，后续运行PySpark时会自动读取这些配置。

3. 临时终端会话设置 #

如果只是临时测试，不想修改永久配置，可以在运行PySpark前，在当前终端中执行以下命令：

• Linux/macOS：

  export PYSPARK_PYTHON=python
  export PYSPARK_DRIVER_PYTHON=python
  

• Windows：

  set PYSPARK_PYTHON=python
  set PYSPARK_DRIVER_PYTHON=python
  

  之后在这个终端里运行PySpark即可正常工作，但关闭终端后设置会失效。

内容的提问来源于stack exchange，提问作者andKaae