如何在PySpark中创建包含不同类型结构体的混合类型数组？

你需要构建一个包含pair字段的结构体，其中pair是数组，数组内是两个不同类型的结构体struct_1和struct_2，但常规数组要求元素类型统一，没法直接存混合类型，这里给你几种可行的实现方式：

方案1：将结构体转为通用统一类型 #

把struct_1和struct_2都转换成Map或JSON字符串这类通用类型，让数组元素类型统一，就能正常存入。以PySpark为例：

• 转成JSON字符串：

  F.struct(F.array(F.to_json(struct_1), F.to_json(struct_2)).alias('pair'))
  

• 转成键值对Map：

  F.struct(F.array(F.struct_to_map(struct_1), F.struct_to_map(struct_2)).alias('pair'))
  

存储后的JSON格式会符合你要的结构，后续读取时再把JSON字符串/Map转回对应的结构体类型即可。

方案2：使用Union类型（框架支持的话） #

如果你的数据处理框架支持Union类型（比如Spark 3.0+、Flink），可以直接定义数组元素为两种结构体的联合类型，无需转换格式。示例：

# 假设已定义好struct1_type和struct2_type两种结构体类型
union_type = UnionType([struct1_type, struct2_type])
F.struct(F.array(F.cast(struct_1, union_type), F.cast(struct_2, union_type)).alias('pair'))

这种方式能直接保留两个结构体的原始结构，存储后的JSON也会包含各自的字段。

方案3：用结构体嵌套替代数组（如果允许调整结构） #

如果可以接受小的结构调整，也可以不用数组，直接把struct_1和struct_2作为pair结构体的两个字段：

F.struct(F.struct(struct_1, struct_2).alias('pair'))

对应的JSON会变成{"pair": {"col1": {...struct_1...}, "col2": {...struct_2...}}}，如果业务能接受这种格式，实现起来更简单。

内容的提问来源于stack exchange，提问作者Discombobulous