PySpark中重命名数组列内嵌套字段时出现意外聚合的解决方法

我懂你现在的困扰——直接从数组列里提取字段时，PySpark把所有元素的对应值打包成了列表，完全不是你想要的逐个订单独立成Row的效果对吧？这是因为你直接引用customerOrders.index这类字段时，Spark会把它当作数组列的元素属性提取，返回的是一个包含所有元素对应值的数组，而不是逐个处理数组里的每个对象。

核心解决思路 #

要搞定这个问题，你需要用Spark 3.0+ 支持的transform函数——它能遍历数组中的每一个元素，对每个元素单独应用字段重命名和结构转换的逻辑，这样就能保证每个订单都被转成独立的Row，而不会把所有值聚合到一起。

具体实现代码 #

首先导入需要的函数：

from pyspark.sql.functions import col, struct, transform

然后修改你的查询语句，用transform替换原来的array(struct(...))逻辑：

result = demo_d.select(
    transform(
        col("customerOrders"),
        lambda order: struct(
            col("areaId").alias("area_id"),
            col("startTimeEpoch").alias("start_time_epoch"),
            order["index"].alias("customer_order_index"),
            order["identifier"].alias("customer_order_identifier"),
            order["cuts.nominal"].alias("nominal_cuts"),
            order["cuts.actual"].alias("cuts"),
            order["automaticCutControl"].alias("automatic_cut_control")
        )
    ).alias("customer_orders")
).collect()

代码逻辑解释 #

• transform(col("customerOrders"), lambda order: ...)：遍历customerOrders数组里的每一个订单元素（用order指代当前循环到的元素）
• 对每个order，用struct()把需要的字段组装成目标结构：
  • 顶层的areaId和startTimeEpoch是整个行的全局字段，直接用col()引用即可
  • 订单内部的字段（比如index、cuts.nominal）必须通过order这个当前元素引用，这样只会取当前订单的对应值，不会把整个数组的所有值打包成列表

额外注意事项 #

一定要用你预先定义好的schema加载数据，别让Spark自动推断。从你给出的推断schema能看到，Spark把数组元素识别成了map类型，这会导致后续字段引用出问题。用自定义的StructType加载数据，能保证customerOrders是「数组+struct」的规范结构，让transform可以正确处理每个元素的字段。

如果你的Spark版本低于3.0（不支持transform），可以用UDF实现类似逻辑，但内置的transform性能远优于UDF，推荐优先升级Spark版本或使用内置函数。

最终效果 #

运行上面的代码后，collect得到的结果完全符合你的期望：

[
    Row(
        customer_orders=[
            Row(
                area_id='056384e1-56a0-49f9-b9fa-95dd29477ce3',
                start_time_epoch=1666186174621,
                customer_order_index=0,
                customer_order_identifier='OrderIdentifier_0',
                nominal_cuts=751400596,
                cuts=949425219,
                automatic_cut_control=True
            ),
            Row(
                area_id='056384e1-56a0-49f9-b9fa-95dd29477ce3',
                start_time_epoch=1666186174621,
                customer_order_index=1,
                customer_order_identifier='OrderIdentifier_1',
                nominal_cuts=1502801192,
                cuts=1898850438,
                automatic_cut_control=False
            )
        ]
    )
]

备注：内容来源于stack exchange，提问作者pmaier-bhs