如何在PySpark DataFrame中实现类似pd.json_normalize的操作并展开slices列

核心步骤与代码示例 #

1. 导入必要函数 #

首先需要导入Spark SQL提供的explode函数：

from pyspark.sql.functions import explode

2. 基础展开数组列 #

从你的DataFrame输出来看，slices是包含结构体的数组类型，直接用explode展开该列，同时保留其他原有字段：

# 展开slices列，将数组中的每个元素拆分为单独的行
df_exploded = df.select("*", explode("slices").alias("exploded_slice"))
# 查看展开后的完整结果
df_exploded.show(truncate=False)

3. 展开并提取结构体字段 #

如果slices的数组元素是结构体（比如包含economyWebSpecial这类子字段），可以在展开后进一步提取结构体中的具体字段：

from pyspark.sql.functions import explode

# 先展开slices列，再提取结构体中的子字段
df_exploded = df.select(
    "error", "fareBenefits", "lowestFareProducts", "products", "responseMetadata", "utag",
    explode("slices").alias("slice")
).select(
    "*",
    "slice.economyWebSpecial",  # 替换为你实际需要的结构体字段名
    "slice.otherField"  # 可添加更多需要提取的字段
).drop("slice")  # 可选：删除临时的slice列

df_exploded.show(truncate=False)

关键注意点 #

• 确认slices列的类型：用df.printSchema()查看，必须是array类型才能用explode；如果是字符串格式的数组，需要先使用from_json解析为数组类型
• 处理空数组：如果slices可能为空，explode会过滤掉对应行；若要保留空行，改用explode_outer函数

内容的提问来源于stack exchange，提问作者YOGESH KUMAR SAHOO