PySpark修改嵌套结构体列字段名并拼接自定义字符串到同列

现有Schema与需求 #

待处理DataFrame Schema：

root
|-- Item: struct
|    |-- SK: struct
|    |    |-- N: string

需完成两个操作：

• 将最内层字段名N重命名为S
• 给最内层字段值拼接自定义前缀，例：原值123 + 前缀xyz => xyz123，保持原有嵌套结构不变

可直接运行的实现代码 #

嵌套Struct为不可变类型，修改时需要从最内层向外逐层构造新结构，以下提供两种实现方式，均为Spark原生API实现，无UDF性能损耗。

方式1：全量重构Struct（适合字段数量少的场景） #

逻辑清晰，不容易出错：

from pyspark.sql import functions as F

# 自定义拼接前缀
CUSTOM_PREFIX = "xyz"

df = df.withColumn(
    "Item",
    F.struct(
        F.struct(
            F.concat(F.lit(CUSTOM_PREFIX), F.col("Item.SK.N")).alias("S")
        ).alias("SK")
    )
)

如果SK层或Item层还有其他需要保留的字段，直接在对应struct()方法内按原层级追加F.col("原字段路径")即可。

方式2：withField 增量修改（适合字段数量多的场景） #

不需要重写所有字段，仅修改目标字段即可，注意必须删除旧的N字段，否则会同时存在新旧两个字段：

from pyspark.sql import functions as F

CUSTOM_PREFIX = "xyz"

df = df.withColumn(
    "Item",
    F.col("Item").withField(
        "SK",
        F.col("Item.SK")
        .withField("S", F.concat(F.lit(CUSTOM_PREFIX), F.col("Item.SK.N")))
        .dropFields("N") # 关键：删除旧的N字段，避免字段残留
    )
)

结果验证 #

处理后Schema如下，符合重命名要求：

root
|-- Item: struct
|    |-- SK: struct
|    |    |-- S: string

数据输出格式符合预期：

+------------+
|Item        |
+------------+
|{{xyz123}}  |
|{{xyz456}}  |
+------------+

常见踩坑说明 #

之前调用withColumn/select/withField未得到预期结果，通常是两个原因：

1. 直接对深层字段赋值，没有逐层构造外层Struct，Spark不支持直接跨层修改嵌套字段
2. 用withField新增S字段后，没有调用dropFields("N")删除旧字段，导致Schema里同时存在N和S两个字段

内容的提问来源于stack exchange，提问作者DheerajKumar