Spark DataFrame导出JSON格式无效，如何生成标准JSON？

你碰到的问题其实是Spark默认JSON输出的特性——它输出的是JSON Lines格式（每行一个独立的JSON对象），而非标准的JSON数组。这种格式天生适合大数据场景的并行处理，但确实不符合普通JSON解析器的要求。下面给你两种实用的解决方案，分别适配小数据集和大数据集：

方案1：Driver端聚合生成（适合小数据量） #

如果你的数据量不大（不会触发Driver内存溢出），可以把数据拉到Driver端后用JSON库生成标准数组：

import com.fasterxml.jackson.databind.ObjectMapper
import com.fasterxml.jackson.module.scala.DefaultScalaModule
import java.io.PrintWriter

// 将DataFrame的每行转为Scala Map
val dataMapList = myDataFrame.collect().map(_.getValuesMap[String](myDataFrame.schema.fieldNames))

// 用Jackson序列化标准JSON数组
val mapper = new ObjectMapper().registerModule(DefaultScalaModule)
val standardJson = mapper.writeValueAsString(dataMapList)

// 写入文件
new PrintWriter("standard_output.json") { write(standardJson); close() }

注意：collect()会把全量数据拉到Driver节点，数据量大时慎用，容易出现内存溢出。

方案2：分布式聚合生成（适合大数据量） #

对于大规模数据集，我们可以用Spark内置函数完成分布式聚合，避免Driver内存压力：

import org.apache.spark.sql.functions.{collect_list, concat_ws, lit, to_json, struct, col}

// 第一步：把DataFrame的每行转为JSON字符串
val singleJsonRows = myDataFrame.select(to_json(struct("*")).alias("json_line"))

// 第二步：聚合所有JSON行，拼接成数组格式
val standardJsonDF = singleJsonRows
  .agg(concat_ws(",", collect_list("json_line")).alias("json_body"))
  .select(concat(lit("["), col("json_body"), lit("]")).alias("final_json"))

// 写入文件（聚合后只有一行，输出文件只有一个part）
standardJsonDF.write.mode("overwrite").text("standard_output.json")

说明：这个方法利用Spark的分布式计算能力完成聚合，比方案1更适合生产环境的大数据场景。如果数据量极大导致collect_list压力大，可以考虑调整Spark的spark.driver.memory配置，或者分批次处理。

补充：为什么Spark默认输出JSON Lines？ #

Spark的设计初衷是处理大数据，JSON Lines格式支持逐行读取、并行解析，不需要加载整个文件到内存，完美适配分布式计算场景。而标准JSON数组必须一次性加载全量数据，在TB级数据场景下几乎不可用，所以这是Spark的默认选择。

内容的提问来源于stack exchange，提问作者gturri