Java中用Apache Spark读JSON指定Schema报错，求排查Schema问题

首先，为了精准定位你的Schema定义问题，麻烦补充以下具体内容：

• 你的自定义Schema代码片段（Java中StructType的完整定义）
• 读取JSON的Spark核心代码
• 控制台输出的完整异常栈信息
• 脱敏后的示例JSON数据片段

不过结合日常遇到的Spark自定义Schema踩坑场景，我先列几个高频问题供你自查：

1. 字段类型严格不匹配 #

这是最常见的问题：

• 比如JSON中字段是字符串格式的数字（如"age": "28"），但Schema中定义为IntegerType
• 或者JSON里是嵌套对象（如"address": {"city": "Beijing"}），但Schema中把address定义成StringType
• 注意：Spark自动推断Schema时会做宽松兼容，但自定义Schema是严格校验的，只要单个字段类型不匹配就会抛出异常

2. 字段名称大小写/格式不匹配 #

Spark的Schema字段名是大小写敏感的：

• 如果JSON字段是"userName"，但Schema中定义为"username"，会导致字段解析为null甚至直接抛出异常
• 还要注意下划线与驼峰的差异，比如JSON是"user_id"，Schema写成"userId"也会不匹配

3. 嵌套Schema层级错误 #

如果JSON包含嵌套结构（对象或数组），Schema的层级必须完全对应：
比如JSON结构是：

{
  "user": {
    "name": "Alex",
    "tags": ["admin", "vip"]
  }
}

对应的正确Schema应该是：

StructType schema = new StructType()
  .add("user", new StructType()
    .add("name", StringType)
    .add("tags", new ArrayType(StringType, true))
  );

如果错误地把user定义为StringType，或者tags定义为StructType，都会触发解析异常

4. 非空约束与可选字段冲突 #

如果Schema中标记某个字段为非nullable（即add("email", StringType, false)），但部分JSON记录里没有这个字段，就会抛出异常。建议对可选字段保持默认的nullable = true设置。

5. 数组元素类型不匹配 #

如果JSON中的数组是混合类型（比如["apple", 123]），但Schema中定义数组元素为单一类型（如ArrayType(StringType)），会直接解析失败。

等你补充了具体的代码、Schema和异常信息后，我可以帮你更精准地定位问题。

内容的提问来源于stack exchange，提问作者Alex Zhulin