PySpark实现：将JSON DataFrame中的字典转为独立列

问题场景 #

你的JSON数据包含嵌套字典结构：

"object1":{"status1":388.646233,"status2":118.580561,"status3":263.673222,"status4":456.432483}

需要将object1下的status1、status2、status3、status4解析为DataFrame的独立列。你之前尝试的F.explode(F.col('object1'))和F.split(F.col('object1'))方法不适用——explode用于处理数组类型，split用于处理字符串，而这里object1属于Map/Struct类型。

正确实现方法 #

方法1：直接引用嵌套字段 #

如果读取JSON时已将object1识别为Struct类型，可直接通过.操作符提取字段：

from pyspark.sql import functions as F

# 假设你的DataFrame名为df
df = df.select(
    F.col("object1.status1").alias("status1"),
    F.col("object1.status2").alias("status2"),
    F.col("object1.status3").alias("status3"),
    F.col("object1.status4").alias("status4")
)

方法2：使用selectExpr简化写法 #

用selectExpr可以更简洁地完成字段提取：

df = df.selectExpr(
    "object1.status1 as status1",
    "object1.status2 as status2",
    "object1.status3 as status3",
    "object1.status4 as status4"
)

方法3：动态提取所有嵌套字段（适用于字段较多的场景） #

如果object1下的字段数量不确定，可先获取嵌套字段列表，再批量提取：

# 获取object1的所有子字段名
nested_fields = df.select("object1.*").columns

# 批量生成提取表达式
select_expr = [F.col(f"object1.{field}").alias(field) for field in nested_fields]

df = df.select(*select_expr)

最终效果 #

执行上述代码后，DataFrame会生成如下结构：

内容的提问来源于stack exchange，提问作者arnpry