PySpark运行RDD操作报Py4JJavaError找不到python3程序的问题求解

该报错的核心原因是Spark执行Python任务时，默认调用python3命令启动Python进程，但当前系统环境中没有该命令对应的可执行文件，Windows环境下该问题出现概率极高。

可按以下任意一种方案修复：

• 方案1：代码内显式指定Python解释器路径（最便捷，无需修改系统配置）
  在初始化SparkContext前执行以下代码，指定当前运行环境的Python路径：

  import os
  # 可直接在Jupyter中执行 import sys; print(sys.executable) 获取当前Python的绝对路径，替换下方内容
  os.environ['PYSPARK_PYTHON'] = "你的Python可执行文件绝对路径"
  os.environ['PYSPARK_DRIVER_PYTHON'] = "你的Python可执行文件绝对路径"
  

  路径示例：Windows环境下类似C:\\Users\\xxx\\anaconda3\\python.exe，Mac/Linux环境下类似/usr/bin/python3
• 方案2：修改系统配置，添加python3命令
  找到你本地Python的安装目录，将目录下的python.exe复制一份，重命名为python3.exe放在同级目录即可。也可以以管理员身份运行CMD，执行软链接命令：

  mklink "你的Python安装目录\\python3.exe" "你的Python安装目录\\python.exe"
  

• 方案3：在SparkConf中直接配置Python路径
  初始化SparkConf时添加对应参数即可：

  conf = SparkConf().setAppName("Collinear Points")\
          .set("spark.pyspark.python", "你的Python可执行文件绝对路径")\
          .set("spark.pyspark.driver.python", "你的Python可执行文件绝对路径")
  

修改完成后重启SparkContext重新运行代码即可解决该报错。

内容的提问来源于stack exchange，提问作者Ferari