Java程序化定义Schema返回空值？Spark为JSON列程序化应用Schema

嘿，我来帮你搞定这两个和Spark Schema相关的问题，都是实际开发中常见的场景！

问题1：程序化定义Schema时返回空值的处理方案 #

如果你的DataFrame里出现大量空值，大概率是Schema定义和数据不匹配，或者读取逻辑有问题，你可以按下面的步骤排查和解决：

• 先检查buildSchema()方法的实现：确保它确实返回了一个有效的StructType实例，而不是null。比如有没有漏掉return语句，或者构建StructField时参数写错（比如字段名拼写错误）。
• 验证JSON数据格式：如果你的JSON是每行一个对象（JSON Lines格式），Spark默认支持，但如果是整个文件是一个JSON数组，必须加上.option("multiLine", true)，否则Spark会把数组的每一行当成无效JSON，导致字段为空。
• 严格匹配字段名大小写：Spark和Java都是大小写敏感的！比如JSON里的键是"id"，你Schema里写成"ID"，就会导致该字段全为空。
• 对比自动推断的Schema：先跳过自定义Schema，用dataFrameReader.json("your-path").printSchema()让Spark自动推断Schema，然后和你自己定义的对比，看哪里不一致（比如类型不匹配、字段缺失）。
• 处理可选字段：如果JSON中某些字段可能缺失，确保Schema中对应的StructField设置了nullable = true（这是默认值，但如果你手动设成false，缺失字段就会返回null）。

问题2：为pets.json实现自定义Schema #

根据你提供的JSON数据结构，我们可以直接构建对应的StructType。首先要导入Spark的Schema相关类，然后实现buildSchema()方法：

第一步：导入必要的类 #

import org.apache.spark.sql.types.DataTypes;
import org.apache.spark.sql.types.StructField;
import org.apache.spark.sql.types.StructType;

第二步：实现buildSchema方法 #

private static StructType buildSchema() {
    // 逐个定义每个字段的名称、类型、是否允许为空
    StructField idField = DataTypes.createStructField("id", DataTypes.StringType, true);
    StructField speciesField = DataTypes.createStructField("species", DataTypes.StringType, true);
    StructField colorField = DataTypes.createStructField("color", DataTypes.StringType, true);
    // 注意：你的JSON中weight是字符串格式（比如"75"），如果要转成数值类型，可以改成IntegerType/DoubleType
    StructField weightField = DataTypes.createStructField("weight", DataTypes.StringType, true);
    StructField nameField = DataTypes.createStructField("name", DataTypes.StringType, true);
    
    // 把字段组合成StructType返回
    return DataTypes.createStructType(new StructField[]{
        idField, speciesField, colorField, weightField, nameField
    });
}

第三步：完整的读取代码 #

把buildSchema()和你的读取逻辑结合起来，还可以加上验证步骤：

SparkSession session = SparkSession.builder().appName("SparkSQLTests").master("local[*]").getOrCreate();
DataFrameReader dataFrameReader = session.read();

// 读取JSON并应用自定义Schema
Dataset<Row> pets = dataFrameReader
    .schema(buildSchema())
    // 如果你的JSON是整个文件一个数组，打开下面的注释
    // .option("multiLine", true)
    .json("input/pets.json");

// 打印数据和Schema，验证是否正确
pets.show();
pets.printSchema();

如果想把weight转成数值类型（比如IntegerType），只需要修改weightField的类型即可，但要确保所有weight的值都能正常转成整数，否则转换失败的行会返回null。

内容的提问来源于stack exchange，提问作者ChrisRTech