Spark读写MapType数据Schema不一致，如何正确读取含MapType的文件？

嘿，我明白你遇到的问题了——把包含MapType的DataFrame写入磁盘后，再读回来发现Schema变了，MapType直接没了，确实挺闹心的。这主要是因为Spark自动推断Schema时，没法精准还原嵌套了自定义case class的MapType结构，不过有两个简单的办法就能搞定：

方法一：读取时手动指定原始Schema #

既然Spark自动推断不靠谱，咱们直接告诉它原始的Schema是什么样的。先把对应的数据结构定义出来，读取时指定这个Schema，Spark就能准确解析出MapType了。

修改你的读取代码如下：

import org.apache.spark.sql.types._

// 定义Department对应的Schema结构
val departmentSchema = StructType(Seq(
  StructField("Id", StringType, nullable = true),
  StructField("Description", StringType, nullable = true)
))

// 定义Person的完整Schema，明确department是MapType
val personSchema = StructType(Seq(
  StructField("name", StringType, nullable = true),
  StructField("department", MapType(StringType, departmentSchema), nullable = true)
))

// 读取时带上这个Schema
val readDf = spark.read.schema(personSchema).parquet("./你的输出路径")
readDf.printSchema()

运行后你会发现，读取后的Schema和原始结构完全一致，MapType也回来了。

方法二：直接用case class读取（更简洁） #

既然你已经定义了Person和Department这两个case class，咱们可以利用Spark的Encoder特性，直接把读取的数据转换成Dataset[Person]，这样Schema会自动和case class匹配，根本不用手动写Schema。

修改读取部分的代码：

import spark.implicits._

// 直接读取为Dataset[Person]
val personDataset = spark.read.parquet("./你的输出路径").as[Person]
personDataset.printSchema()

这种方式更省心，Spark会自动识别case class里的MapType结构，完美还原原始数据的Schema。

小提示 #

• 优先用Parquet格式存储复杂类型数据，它对Spark的复杂类型支持最好，比JSON、CSV这类格式靠谱得多。
• 确保你的Spark版本在2.0以上，这个版本之后对嵌套复杂类型的读写支持已经非常成熟了。

内容的提问来源于stack exchange，提问作者Mahindar Boregam