如何使用PySpark将JSON中的None值转换为null并规避_corrupt_record？

问题原因 #

你当前的代码直接将Python字典对象传入parallelize，而Spark的read.json API期望处理的是标准JSON格式的字符串，不是Python原生字典。当字典中包含None时，Python对字典的默认序列化结果（比如{'age': None}会被转为字符串"{'age': None}"）不符合JSON规范：

• JSON要求键名用双引号，而Python字典的字符串表示用单引号
• JSON中的空值是null，但Python的None转为字符串是"None"
  这两种不匹配导致Spark解析失败，生成_corrupt_record列。

解决方案 #

有两种可靠的处理方式：

方式1：将Python字典转为标准JSON字符串后再解析

先使用json.dumps将字典序列化为符合JSON规范的字符串，此时None会被自动转为null，再传入Spark处理：

import json

json_feed = { 'name': 'John', 'surname': 'Smith', 'age': None }
# 序列化Python字典为标准JSON字符串
json_str = json.dumps(json_feed)
# 并行化JSON字符串RDD
rdd = self.spark.sparkContext.parallelize([json_str])
# 解析JSON字符串生成DataFrame
df = self.spark.read.json(rdd)

方式2：直接使用createDataFrame创建DataFrame

如果你已经有Python字典对象，不需要通过JSON解析的方式，直接用createDataFrame更高效，它会自动将Python的None映射为Spark的null：

json_feed = { 'name': 'John', 'surname': 'Smith', 'age': None }
df = self.spark.createDataFrame([json_feed])

两种方式最终生成的DataFrame中，age列的值都会是Spark的null，不会出现_corrupt_record问题。

内容的提问来源于stack exchange，提问作者Randomize