自定义Schema时PySpark JSON输出为何缺失部分键？

问题根源 #

Spark的JSON输出默认启用ignoreNullFields参数（默认值为true），当DataFrame中字段值为null时，写入JSON时会自动省略该字段。你定义的Schema确实会让DataFrame包含所有指定字段，但输出环节的这个配置会过滤掉null值对应的键，导致输出JSON出现键缺失的情况。

解决方法 #

在写入JSON时显式设置ignoreNullFields为false，强制保留所有Schema定义的字段（即使值为null）。修改后的写入代码如下：

df.write.format('json').option("ignoreNullFields", "false").save("s3a://bucket-name/test/outputdata")

效果验证 #

修改后，所有Schema中定义的字段都会在输出JSON中保留：

• 若输入数据中不存在某键，Schema会将其解析为null，输出时会保留该键并赋值为null
• 示例输出会变为：

  {"region_code": null, "city": "London", "country_name": "England", ...}
  {"region_code": "UK", "city": null, "country_name": "England", ...}
  

内容的提问来源于stack exchange，提问作者user19479943