如何在PySpark中删除struct类型数组列内的指定元素

场景说明 #

现有表中xyz列为结构体数组类型，每个结构体元素包含a、b、c等字段，需移除所有结构体中的c字段，以下是两种可直接落地的实现方案：

方案1：PySpark 3.1及以上版本（推荐） #

直接使用内置的transform数组遍历函数搭配结构体dropFields方法实现，无需手动重定义结构体：

from pyspark.sql import functions as F

# 替换df为你实际的DataFrame变量名
df_result = df.withColumn(
    "xyz",
    # 遍历数组中每一个结构体元素，删除c字段
    F.transform(F.col("xyz"), lambda struct_item: struct_item.dropFields("c"))
)

方案2：PySpark 3.0及以下版本（兼容方案） #

低版本没有dropFields方法，需手动重构结构体，仅保留需要的字段即可：

from pyspark.sql import functions as F

# 先获取原始结构体的所有字段，过滤掉要删除的c字段，避免逐个手写
struct_field_list = df.schema["xyz"].dataType.elementType.names
keep_fields = [field for field in struct_field_list if field != "c"]

df_result = df.withColumn(
    "xyz",
    F.transform(
        F.col("xyz"),
        lambda struct_item: F.struct(*[struct_item[f].alias(f) for f in keep_fields])
    )
)

结果验证 #

执行以下命令查看字段结构，确认c字段已被移除：

df_result.printSchema()

内容的提问来源于stack exchange，提问作者shivani