Spark Python作业执行失败：无法找到python3可执行文件求助

针对Windows 11 Pro环境下Spark 3.3.2调用Python作业时提示找不到python3的问题，结合你的排查情况，核心原因及对应解决方法如下：

• Windows系统Python可执行文件命名差异
  Windows环境中，Python 3的默认可执行文件是python.exe，而非类Unix系统的python3.exe。Spark默认会调用python3命令，因此会出现找不到文件的报错。
  解决：

  1. 找到Python安装目录（比如C:\Python310），复制python.exe并重命名为python3.exe；
  2. 或直接指定Spark使用python命令替代python3。

• Spark强制指定Python路径
  可以通过配置强制Spark使用正确的Python可执行文件，有三种方式：

  1. 代码内配置：在SparkSession初始化前添加

     from pyspark.sql import SparkSession
     spark = SparkSession.builder \
         .config("spark.pyspark.python", "python") \
         .getOrCreate()
     

  2. 启动参数配置：提交作业时添加参数

     spark-submit --conf spark.pyspark.python=python your_script.py
     

  3. 配置文件修改：在Spark安装目录的conf/spark-defaults.conf中添加一行

     spark.pyspark.python python
     

     若文件不存在，先复制spark-defaults.conf.template并重命名为spark-defaults.conf再修改。

• 环境变量生效验证
  虽然你已将Python添加到PATH，但需确认：

  1. 是添加到系统PATH而非用户PATH；
  2. 修改PATH后已重启运行Spark的终端或IDE（比如PyCharm、VS Code），确保进程读取到最新的环境变量；
  3. 在终端中执行where python3和where python，确认命令能正确返回可执行文件路径。

• 虚拟环境影响
  如果使用了Python虚拟环境，需确保：

  1. 激活虚拟环境后再运行Spark作业；
  2. 或在Spark配置中指定虚拟环境内的Python绝对路径，比如spark.pyspark.python=C:\path\to\venv\Scripts\python.exe。

内容的提问来源于stack exchange，提问作者epc