Spark Scala读取多行JSON文件调用dataframe.show()报错求助

我来帮你搞定这个头疼的问题！你提到用Spark 2.2+的多行JSON读取方案，能成功读取但调用dataframe.show()时抛出任务失败的异常，这类问题大多和读取配置、JSON格式或者环境资源有关，咱们一步步排查解决：

1. 确认多行JSON的读取配置是否正确 #

Spark 2.2+支持多行JSON读取，但必须显式开启multiLine选项，不然默认会按单行解析，遇到跨行的JSON结构直接就崩了。你的读取代码应该是这样的：

import org.apache.spark.sql.SparkSession

val spark = SparkSession.builder()
  .appName("MultiLineJSONReader")
  .master("local[*]") // 本地模式使用，生产环境请移除该配置
  .getOrCreate()

// 关键配置：开启多行JSON解析
val df = spark.read.option("multiLine", true).json("path/to/your/json/file.json")

如果漏掉了option("multiLine", true)，必然会在解析多行JSON时出错，进而触发任务失败。

2. 检查JSON文件的格式是否合法 #

多行JSON的格式有严格要求：

• 要么是单个完整的JSON数组（所有数据包裹在[]里，元素间用逗号分隔），比如：

  [
    {"user_id": 1, "username": "deepak"},
    {"user_id": 2, "username": "alice"}
  ]
  

• 要么是单个完整的JSON对象（比如包含嵌套数组的大对象），比如：

  {
    "metadata": {"source": "api"},
    "records": [{"id": 1}, {"id": 2}]
  }
  

如果你的文件是每行一个独立的JSON对象（也就是JSON Lines格式，比如{"a":1}\n{"b":2}），那你根本不需要开启multiLine，用默认的单行读取模式即可，强行开multiLine反而会导致解析失败。

3. 深挖报错的具体原因 #

你给出的报错信息被截断了，完整的异常栈里应该会有更具体的错误（比如MalformedJsonException），这才是问题的根源。常见的情况包括：

• JSON文件里有语法错误（比如缺少逗号、引号不匹配）
• 文件编码和Spark默认编码不一致（可以加option("encoding", "UTF-8")指定编码）
• 文件损坏或者部分内容缺失

你可以先拿一小段格式正确的测试JSON文件验证读取逻辑，排除文件本身的问题。

4. 排查环境资源问题 #

如果是本地模式运行Spark，可能是内存不足导致任务失败。可以给Driver分配更多内存：

val spark = SparkSession.builder()
  .appName("MultiLineJSONReader")
  .master("local[*]")
  .config("spark.driver.memory", "2g") // 根据你的机器配置调整，比如4g
  .getOrCreate()

另外也要确认你的Spark版本确实是2.2及以上，避免版本兼容问题。

内容的提问来源于stack exchange，提问作者Deepak Ankalkoti