PySpark移除嵌套数组中ProductEntityCode列的实现方法求助

针对你需要移除EventPayload.ProductSaleData数组元素结构体中的ProductEntityCode列、保留其余所有列的需求，以下是两种具体实现方法：

方法一：使用PySpark API（推荐，无需手动列举所有保留列） #

通过withColumn重新构建EventPayload结构体，结合transform遍历数组元素并移除目标列：

from pyspark.sql import functions as F

# 重新构造EventPayload，保留原有字段并修改ProductSaleData
df = df.withColumn(
    "EventPayload",
    F.struct(
        # 保留EventPayload下的其他字段
        F.col("EventPayload.AccountId"),
        # 遍历ProductSaleData数组，移除每个元素中的ProductEntityCode
        F.transform(
            F.col("EventPayload.ProductSaleData"),
            lambda elem: elem.drop("ProductEntityCode")
        ).alias("ProductSaleData"),
        F.col("EventPayload.SiteId"),
        F.col("EventPayload.SiteReference")
    )
)

方法二：使用SQL风格表达式 #

通过selectExpr直接指定要保留的列，手动构造数组元素的结构体：

df = df.selectExpr(
    "EventId",
    "struct("
    "EventPayload.AccountId,"
    "transform(EventPayload.ProductSaleData, x -> struct(x.PortionId, x.PortionName, x.ProductReference)) as ProductSaleData,"
    "EventPayload.SiteId,"
    "EventPayload.SiteReference"
    ") as EventPayload",
    "EventProcessedUtcTime"
)

两种方法都能实现需求：方法一通过drop操作无需手动列举所有保留列，适合嵌套字段较多的场景；方法二通过显式指定保留列，逻辑更直观。

内容的提问来源于stack exchange，提问作者user3276487