如何在PySpark中定义包含数组类型的DataFrame Schema

首先纠正你现有代码里的两处类型错误：自动推断的Schema中active和addedBy都是string类型，但你写成了IntegerType，需要修正。

处理数组类型的核心思路是：先定义数组元素对应的结构体Schema，再用ArrayType包裹该结构体，作为addOns字段的类型。

完整实现步骤 #

1. 导入所需类型

from pyspark.sql.types import StructType, StructField, StringType, ArrayType

2. 定义数组内的结构体Schema
   对应原Schema中addOns数组的element结构体：

add_on_element_schema = StructType([
    StructField("addOnID", StringType(), nullable=True),
    StructField("amount", StringType(), nullable=True),
    StructField("category", StringType(), nullable=True),
    StructField("code", StringType(), nullable=True),
    StructField("creditTo", StringType(), nullable=True),
    StructField("description", StringType(), nullable=True),
    StructField("productID", StringType(), nullable=True),
    StructField("quantity", StringType(), nullable=True),
    StructField("subscriptionID", StringType(), nullable=True),
    StructField("taxable", StringType(), nullable=True)
])

3. 定义完整的DataFrame Schema
   将数组类型字段addOns用ArrayType包裹上述结构体，同时修正active和addedBy的类型：

full_schema = StructType([
    StructField("active", StringType(), nullable=True),
    StructField("activeText", StringType(), nullable=True),
    StructField("addOns", ArrayType(add_on_element_schema, containsNull=True), nullable=True),
    StructField("addedBy", StringType(), nullable=True)
])

验证Schema正确性 #

你可以创建一个空DataFrame来验证Schema是否与自动推断的一致：

empty_df = spark.createDataFrame([], schema=full_schema)
empty_df.printSchema()

执行后输出的Schema结构会和你提供的自动推断结果完全匹配。

内容的提问来源于stack exchange，提问作者dan_12345678