Spark DataFrame能否实现结构体嵌套的自定义数据转换？

这个转换完全可行，不需要局限于withColumn，直接用select配合struct函数就能轻松实现目标结构。

核心思路 #

通过struct()函数将指定字段组合成嵌套结构体：

1. 先把B、C字段组合成名为invented的子结构体
2. 再将这个子结构体与D、E、F字段一起组合成顶级结构体，命名为A

Python 代码示例 #

from pyspark.sql.functions import struct

# 假设df是从SQL数据源读取的原始DataFrame，包含A、B、C、D、E、F字段
# 如果需要保留原A字段的值，只需将"A"加入外层struct的参数中
result_df = df.select(
    struct(
        struct("B", "C").alias("invented"),
        "D",
        "E",
        "F"
        # 若需保留原A字段，添加 "A" 即可
    ).alias("A")
)

Scala 代码示例 #

import org.apache.spark.sql.functions.struct

// 假设df是源DataFrame
val resultDF = df.select(
    struct(
        struct($"B", $"C").alias("invented"),
        $"D",
        $"E",
        $"F"
        // 若需保留原A字段，添加 $"A" 即可
    ).alias("A")
)

执行上述代码后，结果DataFrame的结构就会变成：顶级字段为A，其类型为结构体，内部包含invented子结构体（含B、C）以及D、E、F字段。

内容的提问来源于stack exchange，提问作者Matías Fidemraizer