在Google Colab中使用PySpark遇Java网关错误求助

当你在Colab中执行SparkSession.builder.master("local[*]").getOrCreate()时遇到RuntimeError: Java gateway process exited before sending its port number，即使安装了OpenJDK 8仍未解决，可尝试以下几种方案：

方案1：正确配置Java环境变量 #

Colab安装OpenJDK后需要手动指定JAVA_HOME，否则PySpark无法找到Java路径：

# 安装OpenJDK 8
!apt-get install openjdk-8-jdk-headless -qq > /dev/null

# 设置JAVA_HOME环境变量
import os
os.environ["JAVA_HOME"] = "/usr/lib/jvm/java-8-openjdk-amd64"

# 安装PySpark并创建SparkSession（添加临时目录配置避免权限问题）
!pip install pyspark
from pyspark.sql import SparkSession

spark = SparkSession.builder \
    .master("local[*]") \
    .config("spark.driver.extraJavaOptions", "-Djava.io.tmpdir=/tmp") \
    .getOrCreate()

# 验证SparkSession是否创建成功
spark

方案2：清理缓存并重新安装 #

旧的PySpark或Java缓存可能导致冲突，彻底清理后重新配置：

# 卸载PySpark并清理缓存
!pip uninstall -y pyspark
!rm -rf ~/.cache/pip

# 重装OpenJDK 8
!apt-get purge openjdk-8-jdk-headless -qq > /dev/null
!apt-get install openjdk-8-jdk-headless -qq > /dev/null

之后重复方案1中的JAVA_HOME设置、PySpark安装和SparkSession创建步骤。

错误原因说明 #

该错误通常由以下原因导致：

• Java环境变量未正确设置，PySpark无法定位JVM路径
• Java版本与PySpark不兼容（PySpark 3.x推荐使用Java 8或11）
• Spark启动时临时目录权限不足，添加-Djava.io.tmpdir=/tmp可规避此问题
• 旧的PySpark缓存或残留文件导致启动冲突

内容的提问来源于stack exchange，提问作者Iliasp