如何重排DataFrame中的StructType与嵌套结构体数组？

嘿，我来帮你搞定这个结构体和嵌套数组字段重排的问题！不管是顶层的StructType，还是嵌套在数组里的结构体，都可以通过Spark的内置函数轻松调整字段顺序，下面分两种情况给你详细说明：

一、重排顶层StructType字段 #

比如你的structCol3当前字段顺序是structField2、structField1，想要改成structField1在前，咱们可以用struct()函数重新指定字段顺序：

from pyspark.sql import functions as F

# 重排structCol3的字段顺序
df = df.withColumn(
    "structCol3",
    F.struct(
        F.col("structCol3.structField1").alias("structField1"),
        F.col("structCol3.structField2").alias("structField2")
    )
)

如果结构体字段很多，不想手动逐个输入，可以先获取字段列表，调整顺序后动态生成结构体：

# 获取structCol3的原始字段名
struct_col3_fields = df.schema["structCol3"].dataType.fieldNames()
# 自定义目标顺序，比如反转或者按业务需求排序
reordered_col3_fields = ["structField1", "structField2"]

# 动态生成重排后的结构体
df = df.withColumn(
    "structCol3",
    F.struct(*[F.col(f"structCol3.{field}").alias(field) for field in reordered_col3_fields])
)

二、重排嵌套数组中的结构体字段 #

对于structCol4里的nestedArray，每个数组元素是包含elem3、elem2、elem1的结构体，想要改成elem1→elem2→elem3的顺序，需要结合transform()和struct()：

# 重排nestedArray内的结构体字段
df = df.withColumn(
    "structCol4",
    F.struct(
        F.transform(
            F.col("structCol4.nestedArray"),
            lambda elem: F.struct(
                elem.elem1.alias("elem1"),
                elem.elem2.alias("elem2"),
                elem.elem3.alias("elem3")
            )
        ).alias("nestedArray")
    )
)

同样，如果数组内的结构体字段较多，也可以动态处理：

# 获取数组元素结构体的原始字段名
array_elem_fields = df.schema["structCol4"].dataType["nestedArray"].dataType.elementType.fieldNames()
# 自定义目标顺序
reordered_array_fields = ["elem1", "elem2", "elem3"]

# 动态生成重排逻辑
df = df.withColumn(
    "structCol4",
    F.struct(
        F.transform(
            F.col("structCol4.nestedArray"),
            lambda elem: F.struct(*[elem[field].alias(field) for field in reordered_array_fields])
        ).alias("nestedArray")
    )
)

三、同时处理多个结构体/嵌套数组 #

如果需要一次性调整多个结构体的顺序，只需要把上述操作链式调用即可：

# 同时重排structCol3和structCol4内的嵌套数组
df = (df
      .withColumn("structCol3", F.struct(F.col("structCol3.structField1"), F.col("structCol3.structField2")))
      .withColumn(
          "structCol4",
          F.struct(
              F.transform(
                  F.col("structCol4.nestedArray"),
                  lambda x: F.struct(x.elem1, x.elem2, x.elem3)
              ).alias("nestedArray")
          )
      )
)

这样就能按照你的需求完成所有结构体和嵌套数组的字段重排啦！

内容的提问来源于stack exchange，提问作者user16316