如何将Scala DataFrame的JSON字符串列转换为Map类型列？

问题场景 #

现有如下结构的DataFrame，其中col3为JSON字符串类型：

+----+----+--------------------+
|col1|col2|col3                |
+----+----+--------------------+
|1   |2   |{"key1" : "val1"}   |
|3   |4   |{"key2" : "val2"}   |
+----+----+--------------------+

需要新增一列col4，将col3的JSON字符串转换为Map类型，预期结果如下：

+----+----+--------------------+----------------+
|col1|col2|col3                |col4            |
+----+----+--------------------+----------------+
|1   |2   |{"key1" : "val1"}   |[key1 -> val1]  |
|3   |4   |{"key2" : "val2"}   |[key2 -> val2]  |
+----+----+--------------------+----------------+

实现方案 #

使用Spark内置的from_json函数即可完成转换，步骤如下：

1. 导入必要的Spark SQL函数和类型依赖：

import org.apache.spark.sql.functions._
import org.apache.spark.sql.types._

2. 定义Map类型的Schema，用于解析JSON字符串：

val mapSchema = MapType(StringType, StringType)

如果你的JSON值包含其他数据类型（比如整数、布尔值），可以根据实际情况调整Schema，例如MapType(StringType, IntegerType)。

3. 修改代码添加目标列：

val df: DataFrame = getRowDataset(payload, schema, "payload")
val resultDf = df.withColumn("col4", from_json(col("col3"), mapSchema))

说明 #

from_json函数会按照指定的Schema解析JSON字符串，将其转换为对应的Spark数据类型。这里指定MapType后，col4会成为Map[String, String]类型的列，输出格式与预期完全匹配。

内容的提问来源于stack exchange，提问作者mang4521