Spark读取JSON生成DataSet<Person>时，如何将缺失字段标记为null？

当然可以搞定这个问题！你遇到的报错本质是：Spark自动推断JSON Schema时只识别到了name字段，后续转成Person Bean时，Bean要求的placeOfBirth字段在DataFrame里找不到，所以抛出了分析异常。下面给你两种实用的解决思路：

方法一：基于Bean类指定Schema读取JSON（推荐） #

这是最省心的方式，直接用Person类对应的Schema来读取JSON，让Spark明确知道所有需要的字段，缺失的会自动填充为null：

// 从Person类生成对应的Schema
StructType personSchema = Encoders.bean(Person.class).schema();

// 使用指定Schema读取JSON，再转换为DataSet<Person>
DataSet<Person> personDs = sparkSession.read()
    .schema(personSchema)
    .json("people.json")
    .as(Encoders.bean(Person.class));

这么处理后，哪怕JSON里没有placeOfBirth字段，Spark也会按照Schema定义把该字段的值设为null，完美匹配你的Person Bean结构。

方法二：手动添加缺失字段（适合少量字段缺失场景） #

如果只是个别字段缺失，你也可以通过selectExpr手动补全缺失字段并赋值为null：

DataSet<Person> personDs = sparkSession.read()
    .json("people.json")
    .selectExpr("name", "cast(null as string) as placeOfBirth")
    .as(Encoders.bean(Person.class));

这种方式需要你明确写出每个缺失的字段，适合字段数量少的情况，否则不如方法一高效。

原代码报错原因补充 #

原代码里sparkSession.read().json("people.json")会自动推断JSON的Schema，由于输入的JSON只有name字段，推断出的Schema里就只有这一个字段。当你调用.as(Encoders.bean(Person.class))时，Spark发现Bean需要的placeOfBirth字段不存在于当前DataFrame中，就会抛出AnalysisException。

内容的提问来源于stack exchange，提问作者Ben Watson