Scala中如何将类字典格式的字符串转换为表格型DataFrame？

要将类字典格式的JSON字符串转换为包含firstName和lastName两列的DataFrame，你可以使用Spark的from_json函数解析JSON字符串，再提取结构化字段。具体步骤如下：

1. 导入必要依赖 #

首先导入Spark SQL的类型和函数：

import org.apache.spark.sql.types.{StringType, StructField, StructType}
import org.apache.spark.sql.functions.from_json

2. 定义JSON对应的Schema #

根据你的JSON结构，定义匹配的Schema：

val jsonSchema = StructType(Seq(
  StructField("firstName", StringType, nullable = false),
  StructField("lastName", StringType, nullable = false)
))

3. 解析JSON并展开列 #

基于你现有的单列DataFrame，解析JSON字符串并提取目标字段：

// 你的初始单列DataFrame（假设returnString是你的方法返回的JSON字符串）
val df = Seq(returnString).toDF("record")

// 解析JSON字符串为结构体，再提取字段作为独立列
val finalDf = df
  .withColumn("parsed_record", from_json($"record", jsonSchema))
  .select("parsed_record.firstName", "parsed_record.lastName")

// 查看结果
finalDf.show()

执行后finalDf就会包含firstName和lastName两个独立列，输出示例：

+-------------+------------------+
|    firstName|         lastName|
+-------------+------------------+
|bb288e8ff56b|ae4863bdae026314|
+-------------+------------------+

替代写法（直接在select中解析） #

你也可以合并步骤，直接在select中完成解析和字段提取：

val finalDf = df.select(
  from_json($"record", jsonSchema).alias("parsed")
).select("parsed.firstName", "parsed.lastName")

内容的提问来源于stack exchange，提问作者Shankar Panda