You need to enable JavaScript to run this app. Spark Scala如何读取JSON文件并转换为JSON Lines格式写入
优惠活动
大模型
产品
解决方案
定价
更多

Spark Scala如何读取JSON文件并转换为JSON Lines格式写入

基于Spark Scala实现非规范JSON转JSON Lines的可落地方案

先明确两个核心前提

  • 你手头的原始JSON不属于合法的标准JSON格式:缺少外层数组包裹、每个对象末尾带冗余逗号、存在排版导致的空白字符,无法直接被Spark原生JSON解析器读取
  • 你之前用Pandas写JSON需要传lines=True参数才能输出逐行JSONL的逻辑,在Spark里是反过来的:Spark DataFrame的write.json()方法默认输出就是JSON Lines格式(每行一个独立合法JSON对象),不需要额外加任何参数

具体实现步骤

1. 预处理原始文本为合法JSON结构

因为原始文本格式不规范,先按纯文本读入,修复成Spark可解析的合法JSON:

import org.apache.spark.sql.SparkSession

val spark = SparkSession.builder()
  .appName("RawJsonToJsonLines")
  // 生产环境去掉下面这行,直接提交到集群运行
  .master("local[*]")
  .getOrCreate()
import spark.implicits._

// 读入原始JSON文件的所有文本行
val rawLinesRDD = spark.read.textFile("你的原始JSON文件路径").rdd

// 文本修复逻辑
val validJsonContent = rawLinesRDD
  .filter(line => line.trim.nonEmpty) // 过滤空行
  .collect() // 文件不大的时候可以直接拉到Driver端拼接,大文件改mapPartitions处理避免OOM
  .mkString("")
  .replaceAll(",\\s*$", "") // 去掉内容末尾的冗余逗号
// 补全外层数组包裹,形成完全合法的JSON数组格式
val fullValidJsonStr = s"[${validJsonContent}]"

2. 解析合法JSON为结构化DataFrame

把修复好的合法JSON转成Spark可识别的结构化数据集:

// 把合法JSON字符串包装成单元素Dataset,触发Spark的JSON解析逻辑
val sourceDF = spark.read.json(spark.createDataset(Seq(fullValidJsonStr)))

3. 调整字段值匹配你的输出要求

根据你示例里的输出效果,需要对带排版冗余空格的字段做首尾空白修剪,去掉格式带来的无效空格:

import org.apache.spark.sql.functions._
// 遍历所有列,对字符串类型值做trim处理
val finalDF = sourceDF.columns.foldLeft(sourceDF) { (df, colName) =>
  df.withColumn(colName, trim(col(colName)))
}

注意:如果你的业务字段值里需要保留特定的首尾空格(比如示例里F字段的"1.64110 "),可以单独对指定列处理,不要全局trim,避免把有效业务值裁掉。

4. 直接写入得到JSON Lines格式输出

Spark原生写JSON默认就是逐行输出的JSONL格式,不需要额外传参:

finalDF.write
  .mode("overwrite")
  // 小文件场景可以加.coalesce(1)合并为单个输出文件,大文件不要加,避免并行度下降
  .json("你的JSONL输出目录路径")

常见注意坑点

  • 不要直接对原始不规范JSON文件用spark.read.json()读取,会因为格式不合法直接抛出解析错误
  • 如果原始文件体量超过1G,不要把所有文本拉到Driver端做字符串拼接,改用RDD的mapPartitions逻辑按分片修复JSON内容,避免Driver端内存溢出
  • 最终输出的文件里,每一行就是一个独立的合法JSON对象,和你示例里的JSON Lines效果完全一致

内容的提问来源于stack exchange,提问作者AI92

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.06 16:15:08