如何定义PySpark DataFrame中嵌套JSON字符串的层级结构？

你当前的问题核心是：DataFrame里的JSON以字符串形式存储，未被解析为Spark的结构化Schema，因此无法直接复用原有函数展示层级结构。解决思路是先解析JSON字符串得到对应Schema，再复用层级打印逻辑：

1. 提取JSON样本：从DataFrame中取一条非空的JSON字符串（需确保该样本能代表整体数据结构）

# 替换成你的JSON字符串列名
sample_json = df.filter(df.json_col.isNotNull()).select("json_col").first()[0]

2. 解析样本生成Schema：将样本转为临时RDD，通过Spark解析得到结构化Schema

from pyspark.sql.types import StructType, ArrayType

temp_rdd = spark.sparkContext.parallelize([sample_json])
parsed_df = spark.read.json(temp_rdd, multiLine=True)
json_schema = parsed_df.schema

3. 复用层级打印函数：直接调用你已实现的函数输出层级结构

def print_schema_levels(schema, level=1):
    indent = "    " * (level - 1)
    for field in schema.fields:
        print(f"{indent}Level {level}: {field.name} ({type(field.dataType).__name__})")
        if isinstance(field.dataType, StructType):
            print_schema_levels(field.dataType, level + 1)
        elif isinstance(field.dataType, ArrayType) and isinstance(field.dataType.elementType, StructType):
            print_schema_levels(field.dataType.elementType, level + 1)

print_schema_levels(json_schema)

补充说明 #

• 如果数据中存在格式不统一的JSON字符串，建议先做数据清洗，或多取几个样本验证Schema的一致性
• 若JSON为单行格式（非多行嵌套结构），可去掉multiLine=True参数

内容的提问来源于stack exchange，提问作者Greencolor