Spark中处理嵌套数组centerList应用Lambda函数报错的解决方法

你的错误原因有两个：

1. 内部F.transform中直接引用'centerList'，但该字段属于x.stock，lambda上下文是items的每个元素x，必须通过x.stock.centerList指定完整路径。
2. withField的第一个参数只能是当前结构体的直接字段名，不能用'stock.centerList'这种嵌套路径，需要先处理stock结构体，再替换原字段。

正确的实现代码如下（同时保留移除value字段的逻辑）：

import pyspark.sql.functions as F

df = df.withColumn(
    'items',
    F.transform(
        'items',
        lambda x: x.dropFields('value').withField(
            'stock',
            x.stock.withField(
                'centerList',
                F.transform(x.stock.centerList, lambda y: y.dropFields('center'))
            )
        )
    )
)

代码逻辑说明： #

• 外层F.transform遍历items数组的每个元素x（即结构体）。
• 先通过x.dropFields('value')移除value字段。
• 再用withField修改x的stock字段：
  • 对x.stock中的centerList数组执行F.transform，遍历每个元素y，通过y.dropFields('center')移除center字段。
  • 将处理后的centerList放回stock结构体，再把整个stock结构体替换回x中。

内容的提问来源于stack exchange，提问作者OdiumPura