Scala中用json4s转换Spark Dataframe为JSON的问题求助

你直接将Spark Dataframe对象传入json4s的write方法，而json4s无法识别Spark Dataframe的内部分布式结构，因此只能序列化出空对象{}。

要实现包含null字段的JSON字符串输出，且无需逐个指定列名，可将Dataframe转换为Scala原生集合后再用json4s序列化，具体步骤如下：

1. 将Dataframe的行数据拉取到Driver端（使用collect()），注意数据量过大时可能引发内存溢出，需根据实际情况调整；
2. 将每行数据转换为键为列名、值为字段值的Map，该操作会自动保留null值；
3. 用json4s序列化转换后的集合。

修改后的代码：

import org.json4s.jackson.Serialization.write
import org.json4s.DefaultFormats

implicit val formats = DefaultFormats

val test = spark.sql("SELECT field1, field2, field3 FROM myTable LIMIT 2")

// 将Dataframe转换为包含列名-字段值映射的Scala列表
val dataList = test.collect().map(row => row.getValuesMap(test.schema.fieldNames)).toList

// 输出序列化后的JSON字符串
println("Output:")
println(write(dataList))

• row.getValuesMap(test.schema.fieldNames)会自动遍历所有列，无需手动指定800+列名；
• json4s默认会保留null值，满足你需要输出null字段的需求；
• 若数据量较大，可考虑分批处理后拼接JSON字符串，避免Driver端内存压力。

内容的提问来源于stack exchange，提问作者Alex Kerr