Spark读取含冒号路径的3.5GB格式化JSON时wholeText引发OOM求助

一、内存优化（临时缓解，不推荐长期依赖） #

如果必须使用wholeText=true读取，可尝试以下内存调优：

• 调整Executor内存分配比例：修改Spark配置，增大执行内存占比，减少存储内存预留：

  spark.memory.fraction=0.8
  spark.memory.storageFraction=0.2
  

  同时增大堆外内存，避免堆外溢出：

  spark.executor.memoryOverhead=8g
  

• 优化GC策略：启用G1GC减少内存碎片和停顿：

  spark.executor.extraJavaOptions="-XX:+UseG1GC -XX:MaxGCPauseMillis=200"
  

• 禁用不必要的缓存：确保未对读取后的RDD/DataFrame调用cache()或persist()，避免额外内存占用。

二、核心替代方案（彻底解决OOM） #

wholeText=true会将整个文件加载到单个Executor的内存中，3.5GB文件远超单Executor内存承载能力，建议放弃该方式，改用以下方案：

1. 利用Spark原生JSON Reader的multiLine模式 #

如果你的格式化JSON是单个JSON数组（每个元素为一条业务记录），直接使用Spark的JSON reader并开启multiLine=true，无需转成纯文本读取：

val df = spark.read
  .option("multiLine", "true")
  .json("path/to/files-with-colons/")

该模式会自动解析整个格式化JSON结构，且Spark可对文件进行分片处理（若文件支持拆分，如HDFS/S3的可拆分存储格式），避免单Executor加载整个大文件。

2. 预处理拆分大JSON文件 #

如果文件是单个大JSON对象或数组，先用外部工具拆分成可并行处理的格式：

• 拆分JSON数组为单行对象：用jq工具将大数组拆分为每行一个JSON对象（适合业务记录为数组元素的场景）：

  jq -c '.[]' large-formatted.json > split-single-line.json
  

  之后直接用普通Spark JSON reader读取，无需wholeText或multiLine：

  val df = spark.read.json("path/to/split-single-line.json")
  

• 安全拆分大文件：若无法解析JSON结构，用支持按JSON边界拆分的工具（如splitjson），避免拆分到JSON对象中间。

3. 自定义InputFormat实现并行读取 #

编写自定义Spark InputFormat，按JSON对象边界拆分大文件，将每个JSON对象作为独立记录输出，让Spark可并行读取大文件的不同片段，避免单Executor加载整个文件。核心思路是在读取时扫描文件内容，识别{和}的匹配边界，拆分出完整的JSON对象。

4. 解决文件名含冒号的读取问题 #

你提到因文件名含冒号需用纯文本读取，实际上Spark新版本（2.4+）已支持读取含特殊字符（包括冒号）的文件，只需确保路径正确传递。若仍有问题，可通过设置spark.hadoop.fs.path.name.validation=ignore关闭路径名验证（需谨慎使用，仅在确认路径合法时启用）。

三、Iceberg写入优化 #

写入Iceberg时，尽量采用边读边写的流式处理模式，避免将全量数据加载到内存后再写入。例如：

df.writeTo("catalog.db.table")
  .append()

利用Iceberg的增量写入能力，减少内存峰值占用。

内容的提问来源于stack exchange，提问作者Raj Mhatre