VSCode运行PySpark代码出现Py4JJavaError问题排查求助

1. 先确认Java版本兼容性（核心排查点） #

Spark 3.4.x仅支持Java 8或Java 11，禁止使用Java 17及以上版本。

• 打开终端执行：

  java -version
  javac -version
  

  确保输出的版本是1.8.x（Java 8）或11.x，且java和javac版本一致。

2. 检查Java环境变量配置 #

• 确认JAVA_HOME环境变量指向正确的Java安装目录：
  • Windows：执行echo %JAVA_HOME%，路径应为类似C:\Program Files\Java\jdk1.8.0_391
  • Linux/macOS：执行echo $JAVA_HOME，路径应为类似/Library/Java/JavaVirtualMachines/jdk1.8.0_391.jdk/Contents/Home
• 确保JAVA_HOME/bin已加入系统PATH的最前端，避免其他Java版本干扰。

3. 强制指定PySpark使用的Java路径 #

如果系统存在多版本Java，可在代码开头手动指定：

import os
# 替换为你的Java 8/11路径
os.environ["JAVA_HOME"] = "C:\Program Files\Java\jdk1.8.0_391"
from pyspark.sql import SparkSession

spark = SparkSession.builder.appName("TestRDD").getOrCreate()
# 原代码
data = [1,2,3,4,5]
for i in range(1,5):
    rdd = spark.sparkContext.parallelize(data, i)
    print('partition: ', rdd.glom().collect())
    print('division: ', rdd.reduce(lambda a,b: a/b))
spark.stop()

也可以在VSCode终端中先设置环境变量再运行脚本：

• Windows：set JAVA_HOME=你的Java路径 && python your_script.py
• Linux/macOS：export JAVA_HOME=你的Java路径 && python your_script.py

4. 验证PySpark依赖完整性 #

• 卸载重装PySpark 3.4.1，确保安装过程无报错：

  pip uninstall pyspark -y
  pip install pyspark==3.4.1
  

• 不要随意修改PYSPARK_SUBMIT_ARGS环境变量，避免引入冲突依赖。

5. 先排查基础Spark连接是否正常 #

运行极简测试代码，排除业务逻辑影响：

from pyspark.sql import SparkSession
spark = SparkSession.builder.appName("BasicTest").getOrCreate()
print(f"Spark版本：{spark.version}")
test_rdd = spark.sparkContext.parallelize([1,2,3])
print(f"RDD收集结果：{test_rdd.collect()}")
spark.stop()

如果这段代码仍报错，说明是环境配置问题；如果正常，再检查原代码的reduce逻辑（虽然Databricks正常，但多分区下的除法左结合可能出现计算溢出？不过概率极低）。

6. 检查VSCode终端环境 #

VSCode的终端可能未继承系统环境变量，执行echo %JAVA_HOME%（Windows）或echo $JAVA_HOME（Unix）确认路径是否正确，若未加载，可重启VSCode或在终端手动设置环境变量后再运行脚本。

内容的提问来源于stack exchange，提问作者MP 1