Scala读取JSON生成DataFrame：全记录缺列时如何用coalesce补全？

这个问题在处理多源异构JSON文件时特别常见——部分文件没有目标列，直接用coalesce会因为列不存在报错。我给你两种实用的解决思路：

方法1：读取时合并Schema（推荐） #

Spark的JSON数据源支持mergeSchema选项，开启后会自动合并所有输入文件的Schema。这样不管哪些文件有没有Seq_num列，最终的DataFrame都会包含该列，缺失该列的文件对应的行中，Seq_num值为null。之后再用coalesce替换null为默认值就不会报错了。

代码示例：

import org.apache.spark.sql.SparkSession
import org.apache.spark.sql.functions.{coalesce, col, lit}

val spark = SparkSession.builder()
  .appName("MergeJSONSchema")
  .master("local[*]") // 生产环境请移除该配置
  .getOrCreate()

// 开启mergeSchema读取所有JSON文件
val rawDf = spark.read
  .option("mergeSchema", "true")
  .json("/path/to/your/json/files")

// 将null值替换为默认值"Missing"
val resultDf = rawDf.withColumn("Seq_num", coalesce(col("Seq_num"), lit("Missing")))

resultDf.show()

方法2：读取后判断列是否存在 #

如果因为业务限制不能开启mergeSchema，可以先检查DataFrame的列列表，根据Seq_num列是否存在分别处理：

import org.apache.spark.sql.functions.{col, lit}

val targetColumn = "Seq_num"
val defaultValue = "Missing"

val resultDf = if (rawDf.columns.contains(targetColumn)) {
  // 列存在时，用coalesce处理已有列中的null值
  rawDf.withColumn(targetColumn, coalesce(col(targetColumn), lit(defaultValue)))
} else {
  // 列不存在时，直接新增列并填充默认值
  rawDf.withColumn(targetColumn, lit(defaultValue))
}

为什么你之前的代码会报错？ #

当所有输入文件都没有Seq_num列时，Spark生成的DataFrame Schema里根本不存在这个列，此时col("Seq_num")找不到对应列，自然抛出cannot resolve 'Seq_num' given input columns的错误。上面两种方法分别从Schema合并和列存在性判断两个角度规避了这个问题。

内容的提问来源于stack exchange，提问作者Subhash Reddy