PySpark创建DataFrame时触发Py4JJavaError问题求助

核心原因分析 #

你遇到的问题中，spark.read.csv能正常运行但createDataFrame报错，说明Spark Java端的基础通信没问题，但Python worker在处理内存中数据创建DataFrame时出现连接超时。结合你的环境同时存在Java 8和JDK 17，大概率是Java版本冲突或Python worker的环境配置异常导致的。

具体排查步骤 #

1. 统一Java环境版本 #

Spark 3.4.1官方推荐使用Java 8或Java 11，同时存在两个Java版本会导致Spark进程和Python worker使用不同的Java环境，引发通信故障：

• 检查当前终端的Java版本配置：

  java -version
  echo $JAVA_HOME
  

• 确保JAVA_HOME指向Java 8（Spark 3.4.1对Java 8的兼容性更稳定），修改系统环境变量后重启终端，再次验证版本一致。

2. 调整Python Worker的连接超时参数 #

Socket超时可能是Python worker启动慢或资源不足导致，在创建SparkSession时增加超时配置：

from pyspark.sql import SparkSession

spark = SparkSession.builder \
    .appName("CreateDataFrame") \
    .config("spark.python.worker.connectionTimeout", "60s") \
    .config("spark.executor.heartbeatInterval", "30s") \
    .getOrCreate()

df_day_of_week = spark.createDataFrame([(0, "Sunday"), (1, "Monday"), (2, "Tuesday"), (3, "Wednesday"), (4, "Thursday"), (5, "Friday"), (6, "Saturday")], ["day_of_week_num", "day_of_week"])
df_day_of_week.show()

3. 验证Python环境与PySpark版本匹配 #

确保你的Python版本和PySpark 3.4.1兼容（官方推荐Python 3.8-3.10）：

• 检查Python版本：

  python --version
  

• 确认PySpark安装版本：

  pip show pyspark
  

  保证版本为3.4.1，且没有多个PySpark版本并存。

4. 排查防火墙或端口占用问题 #

Python worker需要和Spark driver建立Socket连接，本地防火墙可能拦截端口：

• 临时关闭本地防火墙，重新运行代码测试。
• 用netstat -ano（Windows）或lsof -i（Linux/macOS）检查是否有其他进程占用Spark默认的worker通信端口。

5. 显式指定本地运行模式 #

显式配置Spark运行在本地模式，避免资源调度异常：

spark = SparkSession.builder \
    .appName("CreateDataFrame") \
    .master("local[*]") \
    .getOrCreate()

快速验证方法 #

先运行极简版的createDataFrame测试，确认基础功能是否正常：

df_test = spark.createDataFrame([(1, "test")], ["id", "name"])
df_test.show()

如果这个能运行，说明原问题是特定场景下的环境配置问题，再逐步排查上述步骤。

内容的提问来源于stack exchange，提问作者Michael