Spark Scala如何读取JSON文件并转换为JSON Lines格式写入
基于Spark Scala实现非规范JSON转JSON Lines的可落地方案
先明确两个核心前提
- 你手头的原始JSON不属于合法的标准JSON格式:缺少外层数组包裹、每个对象末尾带冗余逗号、存在排版导致的空白字符,无法直接被Spark原生JSON解析器读取
- 你之前用Pandas写JSON需要传
lines=True参数才能输出逐行JSONL的逻辑,在Spark里是反过来的:Spark DataFrame的write.json()方法默认输出就是JSON Lines格式(每行一个独立合法JSON对象),不需要额外加任何参数
具体实现步骤
1. 预处理原始文本为合法JSON结构
因为原始文本格式不规范,先按纯文本读入,修复成Spark可解析的合法JSON:
import org.apache.spark.sql.SparkSession val spark = SparkSession.builder() .appName("RawJsonToJsonLines") // 生产环境去掉下面这行,直接提交到集群运行 .master("local[*]") .getOrCreate() import spark.implicits._ // 读入原始JSON文件的所有文本行 val rawLinesRDD = spark.read.textFile("你的原始JSON文件路径").rdd // 文本修复逻辑 val validJsonContent = rawLinesRDD .filter(line => line.trim.nonEmpty) // 过滤空行 .collect() // 文件不大的时候可以直接拉到Driver端拼接,大文件改mapPartitions处理避免OOM .mkString("") .replaceAll(",\\s*$", "") // 去掉内容末尾的冗余逗号 // 补全外层数组包裹,形成完全合法的JSON数组格式 val fullValidJsonStr = s"[${validJsonContent}]"
2. 解析合法JSON为结构化DataFrame
把修复好的合法JSON转成Spark可识别的结构化数据集:
// 把合法JSON字符串包装成单元素Dataset,触发Spark的JSON解析逻辑 val sourceDF = spark.read.json(spark.createDataset(Seq(fullValidJsonStr)))
3. 调整字段值匹配你的输出要求
根据你示例里的输出效果,需要对带排版冗余空格的字段做首尾空白修剪,去掉格式带来的无效空格:
import org.apache.spark.sql.functions._ // 遍历所有列,对字符串类型值做trim处理 val finalDF = sourceDF.columns.foldLeft(sourceDF) { (df, colName) => df.withColumn(colName, trim(col(colName))) }
注意:如果你的业务字段值里需要保留特定的首尾空格(比如示例里F字段的
"1.64110 "),可以单独对指定列处理,不要全局trim,避免把有效业务值裁掉。
4. 直接写入得到JSON Lines格式输出
Spark原生写JSON默认就是逐行输出的JSONL格式,不需要额外传参:
finalDF.write .mode("overwrite") // 小文件场景可以加.coalesce(1)合并为单个输出文件,大文件不要加,避免并行度下降 .json("你的JSONL输出目录路径")
常见注意坑点
- 不要直接对原始不规范JSON文件用
spark.read.json()读取,会因为格式不合法直接抛出解析错误 - 如果原始文件体量超过1G,不要把所有文本拉到Driver端做字符串拼接,改用RDD的mapPartitions逻辑按分片修复JSON内容,避免Driver端内存溢出
- 最终输出的文件里,每一行就是一个独立的合法JSON对象,和你示例里的JSON Lines效果完全一致
内容的提问来源于stack exchange,提问作者AI92
相关产品推荐
相关产品推荐

