PySpark DataFrame全量操作触发TypeError，寻求解决建议

问题原因 #

报错提示ArrayType(FloatType,true) can not accept object -1.2425838708877563 in type <class 'float'>，核心是Schema定义与实际数据类型不匹配：

• Spark的FloatType对应32位单精度浮点数，而Python原生float是64位双精度浮点数（对应Spark的DoubleType）
• 你的prediction字段是三层嵌套数组，Schema最内层定义为FloatType，但实际存储的是Python双精度浮点数，Spark执行count()、show()这类action操作时会严格校验类型，因此报错
• Pandas对类型兼容性更强，自动兼容双精度浮点数，所以转成Pandas后能正常显示head()

解决方案 #

方案1：重新读取数据时指定正确Schema #

直接修改Schema中prediction字段的最内层类型为DoubleType，重新加载数据：

from pyspark.sql.types import StructType, StructField, StringType, ArrayType, DoubleType

# 匹配你的实际Schema结构，修改prediction的内层类型
fixed_schema = StructType([
    StructField("id", StringType(), nullable=True),
    StructField("prediction", ArrayType(ArrayType(ArrayType(DoubleType())), nullable=True), nullable=True)
    # 补充其他字段定义
])

# 重新读取数据（根据你的数据源格式调整，比如parquet、csv等）
df = spark.read.schema(fixed_schema).format("parquet").load("你的数据路径")

方案2：对现有DataFrame进行类型转换 #

如果无法重新读取数据，直接对prediction字段的三层嵌套数组逐个转换类型：

from pyspark.sql.functions import col, transform

# 逐层转换数组内元素为DoubleType
df_fixed = df.withColumn(
    "prediction",
    transform(
        col("prediction"),
        lambda arr_level1: transform(
            arr_level1,
            lambda arr_level2: transform(arr_level2, lambda x: x.cast("double"))
        )
    )
)

验证操作 #

修改完成后，执行以下操作确认问题解决：

# 验证count()
df_fixed.count()
# 验证show()
df_fixed.show()
# 转换为Pandas DataFrame
pd_df = df_fixed.toPandas()
pd_df.head()

内容的提问来源于stack exchange，提问作者Mohammed Elhmadany