PySpark中Explode结构体数组为列：如何拆分hits嵌套数组至ajax数组？

假设你的原数据结构中，hits是外层数组，每个元素包含ajax内层数组（数组元素为结构体），可以通过两次explode（或explode_outer）结合字段提取来实现需求：

步骤1：展开外层hits数组 #

先将hits数组的每个元素拆分为单独行，保留原表其他字段：

from pyspark.sql import functions as F

# 展开外层hits数组，使用explode_outer避免空数组导致数据丢失
df_explode_hits = df.withColumn("hit", F.explode_outer("hits"))

步骤2：展开内层ajax数组 #

基于上一步的结果，展开每个hit中的ajax数组：

df_explode_ajax = df_explode_hits.withColumn("ajax_item", F.explode_outer("hit.ajax"))

步骤3：提取结构体字段为单独列 #

将ajax_item结构体中的各个字段提取为独立列，同时可以删除中间临时列：

# 假设ajax结构体包含ajax_field1、ajax_field2等字段，根据实际字段名调整
df_final = df_explode_ajax.select(
    # 保留原表的其他字段，比如"id", "timestamp"等
    "id", "timestamp",
    # 提取ajax结构体的字段
    F.col("ajax_item.ajax_field1").alias("ajax_field1"),
    F.col("ajax_item.ajax_field2").alias("ajax_field2")
    # 更多字段依次添加
).drop("hit", "ajax_item")

补充说明 #

• 如果不需要保留空数组的行，直接使用explode替代explode_outer即可。
• 若原数据中hits或ajax存在嵌套更深的结构，可重复上述explode+字段提取的逻辑处理。

内容的提问来源于stack exchange，提问作者vazanth2002