PySpark调用RDD的collect()方法时出现Py4JJavaError求助

问题描述 #

运行PySpark代码时，text_rdd.collect()可正常返回数据，但执行text_rdd.flatMap(lambda x: x.split(" ")).collect()时抛出错误，核心报错信息：

java.io.IOException: Cannot run program "python3": CreateProcess error=2, The system cannot find the file specified

原因 #

Spark执行包含Python逻辑的算子（如flatMap中的lambda函数）时，需要调用Python解释器，当前环境找不到python3可执行文件。

解决步骤 #

• 指定Python解释器路径：在代码开头添加环境变量配置，直接指向你的Python可执行文件：

  import os
  # Windows下可直接写'python'，或填写完整路径如'C:/Python310/python.exe'；Linux/macOS根据实际情况用'python'或'python3'
  os.environ['PYSPARK_PYTHON'] = 'python'
  os.environ['PYSPARK_DRIVER_PYTHON'] = 'python'
  

• 验证环境有效性：打开命令行，执行python --version或python3 --version，确认命令能正常返回版本信息，确保该命令在系统PATH环境变量中。
• 启动时配置参数：如果通过命令行启动pyspark或spark-submit，可直接携带参数指定：

  pyspark --conf spark.pyspark.python=python
  

  也可修改spark-defaults.conf配置文件，添加：

  spark.pyspark.python python
  

内容的提问来源于stack exchange，提问作者SDE