Databricks解析DataFrame列中JSON字符串并保留数据类型的问题

问题原因 #

你当前使用schema_of_json(df.select('values').head()[0])仅基于第一行的JSON数组生成Schema，当数组内元素的同名字段存在多种数据类型（如数字、布尔、字符串混合）时，Spark会强制将该字段统一为第一行的类型，导致后续不同类型的值被转成字符串，丢失原始类型信息。

解决方案 #

方案一：保留原始类型（推荐用于混合类型场景）

通过指定Schema为ArrayType(MapType(StringType(), ObjectType()))，让Spark将每个JSON元素解析为键值对，值保留原始的JSON数据类型（整数、布尔值、字符串等）。

from pyspark.sql import functions as F
from pyspark.sql.types import ArrayType, MapType, ObjectType

# 解析JSON数组为键值对数组，保留每个值的原始类型
df_parsed = df.withColumn("values_array", F.from_json("values", ArrayType(MapType(StringType(), ObjectType()))))
# 拆分数组为单独行，并展开键值对为DataFrame列
df_exploded = df_parsed.withColumn("value", F.explode("values_array")).select("value.*")

display(df_exploded)
df_exploded.printSchema()

处理后，每个字段的值会保留原始类型：例如原"v":9仍为整数，"v":false仍为布尔值，字符串类型也会原样保留。

方案二：基于全量样本生成兼容Schema

如果需要将同名字段统一为最兼容的类型（如将数字、布尔值转为字符串），可以先提取所有JSON元素作为样本，再生成覆盖所有类型的Schema：

import json
from pyspark.sql import functions as F

# 提取所有values列中的JSON数组元素，转为单个JSON字符串的集合
all_elements = df.select("values").rdd.flatMap(lambda row: json.loads(row[0])).map(json.dumps).collect()
# 用全量样本生成兼容所有类型的Schema
full_schema = F.schema_of_json("\n".join(all_elements))
# 解析JSON数组并拆分为单独行
df_parsed = df.withColumn("values_array", F.from_json("values", ArrayType(full_schema)))
df_exploded = df_parsed.withColumn("value", F.explode("values_array")).select("value.*")

display(df_exploded)
df_exploded.printSchema()

注意：这种方法会将同名字段的不同类型统一为最宽泛的兼容类型（如数字、布尔值、字符串会统一为字符串类型），适合需要统一字段类型的场景。

内容的提问来源于stack exchange，提问作者Martin1986