如何在不使用Pandas的情况下展平PySpark DataFrame的Content列？

手动指定字段提取（已知字段名时） #

如果清楚Content列包含的字段，直接通过getItem()方法或点语法提取：

# 正确读取ORC文件的写法
df = spark.read.format("orc").load("orc_path")

# 提取指定字段并别名
flattened_df = df.select(
    "Key",
    df["Content"].getItem("column1").alias("column1"),
    df["Content"].getItem("column2").alias("column2")
    # 按需添加更多字段
)

flattened_df.show()

也可以用点语法简化：

flattened_df = df.select(
    "Key",
    "Content.column1",
    "Content.column2"
).withColumnRenamed("Content.column1", "column1")\
 .withColumnRenamed("Content.column2", "column2")

自动推断并展平所有字段（未知字段名时） #

如果Content列的字段不固定或数量较多，可通过from_json结合自动推断的Schema来批量提取：

1. 先推断Content列的JSON Schema：

# 取一条样本数据生成Schema
sample_json = df.select("Content").limit(1).collect()[0][0]
schema = spark.read.json(spark.sparkContext.parallelize([sample_json])).schema

2. 解析并展平数据：

from pyspark.sql.functions import from_json

# 将Content列解析为结构化数据
parsed_df = df.withColumn("Content_parsed", from_json(df["Content"], schema))

# 展平所有解析后的字段，保留原Key列
flattened_df = parsed_df.select("Key", "Content_parsed.*")

flattened_df.show()

处理包含数组的Content字段 #

如果Content列中存在数组类型的嵌套结构，需先用explode展开数组再提取字段：

from pyspark.sql.functions import explode

# 假设Content包含名为array_field的数组字段，展开后提取子字段
flattened_df = df.select(
    "Key",
    explode(df["Content"].getItem("array_field")).alias("array_item")
).select(
    "Key",
    "array_item.field1",
    "array_item.field2"
)

内容的提问来源于stack exchange，提问作者Ali Lordifar