如何在Spark嵌套数组结构中删除Struct内的stock列？

要删除数组列items中嵌套结构体的stock字段，你需要先遍历数组里的每个结构体元素再执行字段删除，具体实现如下：

正确代码示例 #

首先导入Spark SQL函数：

from pyspark.sql import functions as F

然后执行字段删除操作：

df = df.withColumn(
    "items",
    F.transform("items", lambda x: x.dropFields("stock"))
)

代码说明 #

transform函数会遍历items数组中的每一个结构体元素（即lambda参数x），对每个结构体调用dropFields("stock")移除指定字段，最终返回处理后的新数组，替换原items列。

执行后打印Schema验证结果：

df.printSchema()

输出的Schema将符合你的期望：

root
 |-- items: array (nullable = true)
 |    |-- element: struct (containsNull = true)
 |    |    |-- id: long (nullable = true)
 |    |    |-- value: double (nullable = true)

之前方法失败的原因 #

• 直接对items数组列调用dropFields：dropFields仅适用于单个结构体类型的列，而items是数组类型，因此报错提示类型不匹配。
• 直接强制转换数组Schema：Spark不支持直接将包含某结构体的数组转换为包含另一种结构体的数组，必须显式处理数组内的每个元素，所以转换失败。

内容的提问来源于stack exchange，提问作者OdiumPura