PySpark动态JSON字符串转STRUCT对象：含数组与无固定结构问题

1. 统一JSON格式 #

把单个JSON对象的行转成单元素数组，和原本的数组行保持格式一致，避免后续解析时区分两种结构：

from pyspark.sql import functions as F

# 替换成你的原始JSON列名
df = df.withColumn(
    "json_normalized",
    F.when(
        F.substring(F.col("json_str"), 1, 1) == "[",
        F.col("json_str")
    ).otherwise(F.concat(F.lit("["), F.col("json_str"), F.lit("]")))
)

2. 动态推断Schema解析JSON #

因为每行JSON结构不固定，固定Schema会导致漏字段或生成多余键，直接从数据中自动推断合法Schema：

import json
from pyspark.sql import types as T

# 先把统一后的JSON拆成单个字符串对象
temp_df = df.select(F.from_json(F.col("json_normalized"), T.ArrayType(T.StringType())).alias("json_objs"))
exploded_df = temp_df.select(F.explode("json_objs").alias("single_json"))

# 拿一条样本生成基础STRUCT Schema
sample_json = exploded_df.select("single_json").first()[0]
base_struct = T.StructType.fromJson(json.loads(sample_json))
# 包装成数组类型的Schema
array_schema = T.ArrayType(base_struct)

# 解析成STRUCT数组
df = df.withColumn("struct_array", F.from_json(F.col("json_normalized"), array_schema))

3. 按需调整输出格式 #

如果想把单元素数组转成单个STRUCT对象，同时保留多元素数组的结构，加个判断即可：

df = df.withColumn(
    "final_struct",
    F.when(
        F.size(F.col("struct_array")) == 1,
        F.col("struct_array")[0]
    ).otherwise(F.col("struct_array"))
)

4. 消除多余的text键 #

之前出现的未知text键，大概率是错误使用解析函数或指定了错误Schema导致的。用动态推断Schema的方式，只会解析JSON本身存在的字段，不会凭空生成。如果确实不需要这个字段，直接从Schema中剔除：

# 生成不含text字段的Schema
clean_struct = T.StructType([f for f in base_struct.fields if f.name != "text"])
clean_array_schema = T.ArrayType(clean_struct)
df = df.withColumn("struct_array_clean", F.from_json(F.col("json_normalized"), clean_array_schema))

内容的提问来源于stack exchange，提问作者tendaitakas