Spark中转换Map为JSON并保留正确Schema的问题

你当前的代码用to_json把结构化列直接转成了JSON字符串，所以Schema只能显示StringType。要同时实现Schema显示结构化类型和结果以JSON字符串格式展示，得拆成两步做：先构建带正确结构化Schema的DataFrame，再按需生成JSON格式的结果。

1. 先构建结构化DataFrame #

直接把你的Map转成DataFrame，Spark会自动识别出嵌套的结构化Schema，完全符合你期望的结构：

import org.apache.spark.sql.functions._

val myMap = Map(
  "diff" -> Seq(
    Map("first_name" -> "John", "last_name" -> "Bo"),
    Map("first_name" -> "Kevin", "last_name" -> "Po")
  )
)

// 直接将Map转为DataFrame，自动识别结构化Schema
val structuredDf = Seq(myMap).toDF("data")

// 打印Schema，就是你想要的结构
structuredDf.printSchema()

打印出的Schema：

root
 |-- data: struct (nullable = true)
 |    |-- diff: array (nullable = true)
 |    |    |-- element: struct (containsNull = true)
 |    |    |    |-- first_name: string (nullable = true)
 |    |    |    |-- last_name: string (nullable = true)

2. 按需生成JSON格式结果 #

如果需要JSON字符串形式的输出，不用修改原结构化列，用下面两种方式任选其一：

方式一：新增JSON字符串列

在保留原结构化列的基础上，新增一列存储JSON字符串，这样既保留了结构化Schema，又能拿到JSON结果：

val dfWithJson = structuredDf.withColumn("data_json", to_json(col("data")))
dfWithJson.show(truncate = false)

方式二：直接输出JSON数据集

如果只是需要查看或输出JSON格式的结果，直接用toJSON方法，原DataFrame的结构化Schema不会变：

structuredDf.toJSON.show(truncate = false)

原代码问题说明 #

你之前的代码用to_json(struct(col("data")))把原结构化的data列直接替换成了JSON字符串，导致列类型变成StringType，Schema自然只能显示字符串类型。而保留结构化列、按需转换的方式，就能同时满足Schema展示和JSON输出的需求。

内容的提问来源于stack exchange，提问作者John Doe