Spark读取JSON时空字符串数组被识别为String类型致Hive写入失败的解决方法

这个问题其实是Spark JSON数据源自动推断Schema的常见坑——当某个字段全为null时，Spark没法确定它原本的类型，就会默认把它识别成String，而不是你期望的Array。要解决这个问题，核心思路就是强制指定Schema，而非依赖自动推断。下面给你两种可行的方案：

方案1：手动定义完整Schema #

直接在读取JSON前，手动构建包含目标数组字段的完整Schema，明确指定该字段类型为ArrayType(StringType)。这样不管JSON文件里的该字段有没有有效值，Spark都会按照你定义的类型来解析。

示例代码如下：

import org.apache.spark.SparkConf
import org.apache.spark.sql.SQLContext
import org.apache.spark.sql.hive._
import org.apache.spark.sql.types._

val conf = new SparkConf().setAppName("App").setMaster("local")
val hiveContext = new HiveContext(sc)

// 手动构建自定义Schema，确保数组字段类型正确
val customSchema = StructType(Seq(
  // 替换成你的实际字段，以下仅作示例
  StructField("id", IntegerType, nullable = true),
  StructField("name", StringType, nullable = true),
  // 关键：明确指定数组字段为Array<String>，nullable设为true允许空值
  StructField("tags", ArrayType(StringType), nullable = true)
))

// 使用自定义Schema读取JSON文件
val df = hiveContext.read.schema(customSchema).json(<path to json>)

df.printSchema() // 此时tags字段会始终显示为array<string>
df.show()
df.write.mode("append").saveAsTable("data")

方案2：复用已有正确的Schema #

如果你已经有一个包含有效数组数据的JSON文件（也就是能让Spark正确推断出Array类型的文件），可以先读取这个文件获取正确的Schema，再用这个Schema去读取所有其他文件，这样就能保证类型一致。

示例代码：

import org.apache.spark.SparkConf
import org.apache.spark.sql.SQLContext
import org.apache.spark.sql.hive._

val conf = new SparkConf().setAppName("App").setMaster("local")
val hiveContext = new HiveContext(sc)

// 先读取一个包含有效数组数据的参考文件，获取正确的Schema
val referenceDF = hiveContext.read.json(<path to reference json with valid array data>)
val correctSchema = referenceDF.schema

// 使用正确的Schema读取所有目标JSON文件
val df = hiveContext.read.schema(correctSchema).json(<path to all json files>)

df.printSchema() // 数组字段类型保持一致
df.show()
df.write.mode("append").saveAsTable("data")

注意事项 #

• 确保自定义Schema的结构和JSON文件的字段完全匹配，包括嵌套字段（如果有嵌套数组或对象，也要正确定义对应的类型）。
• 如果你的JSON有动态字段，方案1会更可靠，因为方案2依赖参考文件的字段完整性。

内容的提问来源于stack exchange，提问作者Neha