如何在PySpark中像拆分Array列一样拆分StructType列？

不用循环堆叠，直接用Spark内置函数就能高效实现，核心思路是把Struct转成Map再爆炸，具体步骤如下：

1. 将Struct列转为Map类型 #

把questions这个Struct列的每个字段（问题代码）和对应子Struct，转成键值对形式的Map。这样就能把横向的字段转为纵向的键值对集合。

2. 爆炸Map得到单行对应单个问题 #

用explode函数把Map拆成多行，每一行对应一个问题的代码和它的子字段Struct。

3. 展开子Struct的字段 #

把每个问题对应的子Struct展开成单独的列，不同问题结构差异带来的缺失字段会自动填充为null，不影响结果。

完整代码示例 #

假设你的DataFrame结构如下：

root
 |-- surveyId: string (nullable = true)
 |-- questions: struct (nullable = true)
 |    |-- q1: struct (nullable = true)
 |    |    |-- text: string (nullable = true)
 |    |    |-- type: string (nullable = true)
 |    |-- q2: struct (nullable = true)
 |    |    |-- text: string (nullable = true)
 |    |    |-- options: array (nullable = true)
 |    |    |    |-- element: string (containsNull = true)

执行以下代码：

from pyspark.sql import functions as F

# 获取questions列的所有字段信息
struct_fields = df.schema["questions"].dataType.fields

# 把Struct转为Map：键是问题代码，值是对应子Struct
df_with_map = df.withColumn(
    "question_map",
    F.create_map(*[F.lit(f.name), F.col(f"questions.{f.name}") for f in struct_fields])
)

# 爆炸Map，拆出每个问题的代码和详情
df_exploded = df_with_map.select(
    "surveyId",
    F.explode("question_map").alias("question_code", "question_details")
)

# 展开子Struct的所有字段
final_df = df_exploded.select(
    "surveyId",
    "question_code",
    "question_details.*"
)

final_df.show()

这种方法全程用Spark分布式运算，没有循环堆叠的高开销，完全适配大数据量场景。

内容的提问来源于stack exchange，提问作者Filip Megiesan