PySpark如何将结构体数组内的字段值赋值给对应列

首先导入PySpark函数工具：

from pyspark.sql import functions as F

根据数组元素数量的不同，分为两种常见处理场景：

场景1：每行数组仅包含1个结构体元素（业务最常用场景） #

直接提取对应字段为标量列即可：

• 处理Details列：提取结构体中的College字段为字符串类型列

df = df.withColumn("Details", F.col("Details")[0].getField("College"))

• 处理Users列：如果需要保留为单个结构体列（包含Department和ID两个字段），直接取第一个元素即可：

df = df.withColumn("Users", F.col("Users")[0])

如果需要将Users拆分为两个独立的标量列，可以使用如下写法：

df = df.withColumn("Department", F.col("Users")[0].getField("Department"))\
       .withColumn("ID", F.col("Users")[0].getField("ID"))
# 不需要保留原Users列的话可以追加.drop("Users")

场景2：每行数组包含多个结构体元素，需要保留数组格式 #

使用transform函数遍历数组处理每一个结构体元素：

• 处理Details列：转换为College字符串组成的数组，格式为array<string>

df = df.withColumn("Details", F.transform("Details", lambda struct_item: struct_item.College))

• 处理Users列：如果需要保留为结构体数组，直接提取对应字段重组结构体即可：

df = df.withColumn("Users", F.transform("Users", lambda struct_item: F.struct(
    struct_item.Department.alias("Department"),
    struct_item.ID.alias("ID")
)))

如果需要转换为部门:ID格式的字符串数组，可以使用如下写法：

df = df.withColumn("Users", F.transform("Users", lambda struct_item: F.concat_ws(":", struct_item.Department, struct_item.ID)))

注意：如果数组存在为空的情况，可以搭配coalesce函数设置默认值避免空值异常，示例：

df = df.withColumn("Details", F.coalesce(F.col("Details")[0].College, F.lit("无学院信息")))

处理完成后可通过df.printSchema()和df.show(truncate=False)验证输出结果是否符合预期。

内容的提问来源于stack exchange，提问作者Maaru Veshan