Spark创建DataFrame调用showString报Py4JJavaError求助

问题根源 #

你碰到的Py4JJavaError，核心原因是代码里定义了Schema但创建DataFrame时没传进去。Spark自动推断数据类型时，容易因元数据不匹配触发Java层异常，直接表现为调用showString时出错。

修正代码 #

把定义好的schema传入createDataFrame方法即可，同时补充SparkSession初始化（本地运行必须添加）：

from pyspark.sql.types import StructType, StructField, StringType, IntegerType
from pyspark.sql import SparkSession
import os
import sys

# 初始化SparkSession
spark = SparkSession.builder.appName("test").getOrCreate()

# 定义Schema
schema = StructType([
    StructField('name', StringType()),
    StructField('Age', IntegerType())
])

data = [('a',1), ('b',2)]
# 创建DataFrame时传入schema参数
df = spark.createDataFrame(data, schema=schema)
df.show()

额外排查方向 #

• 确认Spark环境配置：JAVA_HOME需指向与Spark版本兼容的JDK（比如Spark 3.x对应JDK 8或11）；
• 检查PySpark版本：用pip show pyspark验证安装包版本，避免与Python、Spark集群版本不兼容；
• 若在集群运行，需确认集群资源分配正常，没有因内存不足引发的执行异常。

内容的提问来源于stack exchange，提问作者pranjal dahiya