PySpark解析嵌套列表结构JSON字符串为Spark DataFrame

之前解析报错的核心原因是schema定义和实际JSON结构不匹配：array<string,string>不是PySpark支持的合法数组Schema写法——PySpark的ArrayType要求指定统一的单元素类型，而当前JSON列的每个数组元素是包含时间戳、指标值的二元结构体，既不是字符串，也不存在双字符串的数组结构，直接触发类型校验错误导致解析失败。

整体实现逻辑分为三步：

• 匹配实际JSON结构定义合法解析Schema，适配嵌套列表的二元元素格式
• 通过正则规则从url字段提取短标识作为结果第一列
• 完成JSON解析后逐元素展开，拆分得到时间戳、指标值两个独立列
  可复用的代码片段如下：

from pyspark.sql import SparkSession
from pyspark.sql.functions import from_json, explode, col, regexp_extract
from pyspark.sql.types import ArrayType, StructType, StructField, LongType, DoubleType

# 已有Spark上下文可跳过初始化步骤
spark = SparkSession.builder.appName("json_flatten").getOrCreate()

# 定义和嵌套列表结构完全匹配的JSON Schema
json_parse_schema = ArrayType(
    StructType([
        StructField("timestamp", LongType(), nullable=True),
        StructField("metric_value", DoubleType(), nullable=True)
    ])
)

transformed_df = (
    input_df
    # 提取URL短标识：正则规则可根据实际URL路径结构调整
    .withColumn("url_short_id", regexp_extract(col("url"), r"/([a-zA-Z0-9]{6,})", 1))
    # 用正确Schema解析JSON字符串列
    .withColumn("parsed_list", from_json(col("json"), json_parse_schema))
    # 展开数组内的每个二元元素
    .withColumn("flat_item", explode(col("parsed_list")))
    # 输出最终三列结果
    .select(
        col("url_short_id"),
        col("flat_item.timestamp").alias("timestamp"),
        col("flat_item.metric_value").alias("metric_value")
    )
)

• 不要直接套用其他场景的Schema写法：如果参考的案例是解析顶层JSON对象、或者单值数组的场景，其Schema结构无法适配当前的嵌套二元列表结构，必须根据实际JSON的嵌套层级重新定义
• 静默解析异常提醒：from_json遇到Schema不匹配的场景时，部分版本不会直接抛出明显报错，而是返回null值，如果执行后结果列全为空，第一时间校验Schema的字段类型、嵌套层级是否和实际JSON完全匹配
• 空值场景适配：默认的explode会丢弃json列值为null、空数组的记录，如果需要保留这类空行，替换为explode_outer函数即可
• 类型对齐：如果实际JSON里的时间戳是字符串格式、指标值为带格式的字符串，要将Schema中对应字段的类型替换为StringType，避免类型转换异常

内容的提问来源于stack exchange，提问作者Dan