Spark按指定schema读取JSON时缺失非必填key如何赋值null
问题根源定位
- 你现有读取逻辑的最大问题,是把schema参数通过
.option(schema=schema)的方式传递,这个写法对Spark完全无效:option()方法只接收字符串形式的键值对配置,这种关键字传参的方式不会被Spark识别,相当于你根本没有给Spark指定自定义schema。 - 没有正确传入schema时,Spark在元数据推断、分片解析阶段,会把字段结构不统一的JSON文件判定为不符合要求的坏数据,直接整文件过滤,最终就出现了缺字段的文件被全部跳过的问题。
实现需求的正确代码方案
核心调整逻辑有三点:正确传递自定义schema、开启容错解析模式、正确设置可选字段的可空属性。
- 先基于业务规则定义结构化的schema对象:把所有文件都必然存在的必填字段标记为非空,把可选的
status字段标记为可空from pyspark.sql.types import StructType, StructField, IntegerType, StringType assignment_schema = StructType([ StructField("id", IntegerType(), nullable=False), StructField("resource_type", StringType(), nullable=False), StructField("assignee_id", IntegerType(), nullable=False), StructField("status", StringType(), nullable=True) ]) - 修正读取链路的参数传递方式,显式开启容错解析:
raw_assignments_2 = ( spark.read # 用DataFrameReader内置的schema()方法传入结构定义,不要塞进option参数 .schema(assignment_schema) # 保留multiline配置,适配JSON数组格式的文件内容 .option("multiline", "true") # 显式指定解析模式为PERMISSIVE,遇到缺失字段自动补null .mode("PERMISSIVE") .json("Assignments_*.json") )
效果验证
修改后的代码会正常加载匹配到的所有JSON文件,缺失status字段的记录不会被丢弃,而是自动将status列的值填充为null。执行数据查看命令可以得到符合预期的结果:
raw_assignments_2.show()
输出示例:
| id | resource_type | assignee_id | status |
|---|---|---|---|
| 8731 | assignment | 2478 | complete |
| 8731 | assignment | 2478 | null |
注意避坑:如果定义schema时把可选字段的
nullable属性设为False,哪怕开启了PERMISSIVE模式,Spark也会因为字段值不满足非空校验,把整条记录判定为坏数据丢弃。
内容的提问来源于stack exchange,提问作者Rahul
相关产品推荐
相关产品推荐

