如何将Spark DataFrame多个嵌套Struct列合并为单个Struct列？

Spark本身没有专门用于合并多个嵌套Struct列的内置函数，但可以通过struct()函数配合字段展开语法（*）快速实现需求，以下是具体操作步骤：

步骤1：将AWS Glue DynamicFrame转换为Spark DataFrame #

# 假设已存在Glue Context实例glue_context和目标DynamicFrame dynamic_frame
spark_df = dynamic_frame.toDF()

步骤2：合并嵌套Struct列 #

使用select()保留原有顶层字段，同时通过struct()将多个嵌套Struct的子字段组合成新的Struct列：

from pyspark.sql.functions import struct

merged_df = spark_df.select(
    "column_1",
    "column_2",
    "column_3",
    struct(
        "nested_details_1.*",  # 展开第一个Struct的所有子字段
        "nested_details_2.*"   # 展开第二个Struct的所有子字段
    ).alias("nested_details")   # 新Struct列的名称
)

关键说明 #

• X.*语法会将Struct列X下的所有子字段全部展开，作为struct()函数的输入参数。
• 如果多个源Struct存在同名子字段，后展开的字段会覆盖先展开的（比如nested_details_2.a会覆盖nested_details_1.a），这种情况下需要手动重命名冲突字段：

  merged_df = spark_df.select(
      "column_1",
      "column_2",
      "column_3",
      struct(
          "nested_details_1.a",
          "nested_details_1.b",
          "nested_details_1.c",
          "nested_details_2.d",
          "nested_details_2.e",
          nested_details_2.f.alias("f_new")  # 重命名冲突字段
      ).alias("nested_details")
  )
  

步骤3：（可选）转回AWS Glue DynamicFrame #

如果后续需要继续使用Glue的DynamicFrame操作，可以将合并后的Spark DataFrame转换回去：

from awsglue.dynamicframe import DynamicFrame
merged_dynamic_frame = DynamicFrame.fromDF(merged_df, glue_context, "merged_dynamic_frame")

内容的提问来源于stack exchange，提问作者Michael Black