Apache Spark读取JSON时保留Hive表原id列的方案问询

嘿，我懂你的需求——你要解析Hive表里的JSON字符串列，同时还得保留原来的id列，而且不想用UDF或者正则，想找Spark原生API的更优方案对吧？针对你用的Spark 2.3.0版本，这里有两个非常合适的方法：

方法1：使用from_json内置函数（最推荐） #

这是Spark官方推荐的JSON解析方案，完全基于DataFrame API，不需要转成RDD，性能更优，还能完美保留id和解析结果的对应关系。

操作步骤： #

1. 获取JSON Schema：可以从现有数据自动推导，或者手动定义（生产环境更推荐手动定义，避免数据波动导致的Schema变化）
2. 解析JSON列：用from_json把JSON字符串列转换成StructType结构
3. 展开字段：将id列和解析后的Struct字段合并成最终的DataFrame

示例代码： #

// 先从现有数据集自动推导JSON的Schema（适合测试阶段）
val jsonSchema = spark.read.json(ds.select($"json").as[String]).schema

// 👉 生产环境推荐手动定义Schema（更稳定）
// import org.apache.spark.sql.types._
// val jsonSchema = StructType(Seq(
//   StructField("bar", StructType(Seq(StructField("foo", StringType))), nullable = true),
//   StructField("cars", ArrayType(StringType), nullable = true),
//   StructField("daniel", StringType, nullable = true),
//   StructField("fruits", ArrayType(StructType(Seq(
//     StructField("fruit", StringType, nullable = true),
//     StructField("fruid", StringType, nullable = true),
//     StructField("dt", StringType, nullable = true),
//     StructField("a", StringType, nullable = true)
//   ))), nullable = true)
// ))

// 核心操作：解析JSON并保留id列
val resultDF = ds.withColumn("parsed_json", from_json($"json", jsonSchema))
  .select($"id", $"parsed_json.*")

// 查看结果
resultDF.show(truncate = false)

这个方法的优势很明显：相比你之前用rdd.map的方式，它不需要序列化/反序列化数据到RDD，Spark Catalyst可以对整个查询进行优化，性能提升不少，而且全程保证id和JSON解析结果的一一对应，不会出现数据错位的问题。

方法2：读取Hive表时直接处理 #

如果你的数据源是Hive表，也可以直接在读取后用同样的逻辑处理，不用先转成Dataset：

// 直接读取Hive表
val hiveDF = spark.table("your_hive_table_name")

// 获取JSON Schema（同样可以自动推导或手动定义）
val jsonSchema = spark.read.json(hiveDF.select($"jsonString").as[String]).schema

// 解析并保留id列
val finalDF = hiveDF.withColumn("parsed_json", from_json($"jsonString", jsonSchema))
  .select($"id", $"parsed_json.*")

为什么这个比UDF好？ #

UDF属于Spark的黑盒操作，Catalyst优化器无法对UDF内部逻辑进行优化；而from_json是Spark内置的优化函数，底层已经做了大量性能优化，而且代码更简洁易维护。

内容的提问来源于stack exchange，提问作者Mantovani