Jupyter中使用PySpark调用count()时遇Py4JJavaError求助

1. 显式指定Python解释器路径 #

PySpark 3.5.1可能无法自动识别conda环境的Python路径，导致Worker启动时使用系统默认Python，引发兼容性问题。在初始化Spark上下文前添加以下代码：

import os
# 替换为你的conda环境Python路径，可通过终端执行`which python`获取
os.environ['PYSPARK_PYTHON'] = '/your/conda/env/path/bin/python'
os.environ['PYSPARK_DRIVER_PYTHON'] = '/your/conda/env/path/bin/python'

2. 调整Spark网络超时配置 #

底层的java.net.SocketTimeoutException是因为Worker连接超时，可通过Spark配置延长超时时间并禁用Worker复用：

from pyspark import SparkConf, SparkContext

conf = SparkConf() \
    .setAppName("LocalSparkApp") \
    .set("spark.executor.heartbeatInterval", "60s") \
    .set("spark.network.timeout", "120s") \
    .set("spark.python.worker.reuse", "false")

sc = SparkContext(conf=conf)

3. 验证依赖版本匹配 #

PySpark 3.5.1要求py4j版本为0.10.9.7，conda安装可能出现版本不匹配的情况：

• 执行conda list检查py4j版本，若不符，运行：

conda install py4j=0.10.9.7 -c conda-forge

• 若问题仍存在，可尝试降级Python到3.10版本（与PySpark 3.5.1兼容性更稳定）：

conda install python=3.10 -c conda-forge

4. 使用SparkSession初始化（推荐方式） #

避免手动创建SparkContext，改用SparkSession自动管理上下文，减少配置冲突：

from pyspark.sql import SparkSession

spark = SparkSession.builder \
    .appName("LocalSparkApp") \
    .config("spark.executor.heartbeatInterval", "60s") \
    .config("spark.network.timeout", "120s") \
    .config("spark.python.worker.reuse", "false") \
    .getOrCreate()

sc = spark.sparkContext

simple_data = sc.parallelize([1, "Nissan Versa", 12])
print(simple_data.count())

5. 排查本地网络与端口问题 #

• 关闭本地防火墙或添加Spark相关端口的放行规则，避免Worker连接被拦截
• 检查是否有进程占用Spark端口，可通过lsof -i :4040（Spark UI端口）排查，必要时指定固定端口：

conf = SparkConf() \
    .set("spark.driver.port", "50000") \
    .set("spark.blockManager.port", "50001")

内容的提问来源于stack exchange，提问作者aemilius89