使用PySpark读取JSON时如何保留并显示空结构体？

核心原因 #

Spark自动推断JSON Schema时，空结构体{}因为没有任何子字段，没法被识别为有效的struct类型——哪怕你设置了dropFieldIfAllNull=False，这个参数只作用于字段值全为null的情况，而非空结构体这种无内部字段的场景，所以Spark会直接忽略这个字段，导致Schema里缺失field_b。

解决方案 #

方案1：手动指定Schema（最可靠）

直接定义包含field_b的struct类型Schema，强制Spark识别这个字段，哪怕它是空结构体。

示例代码：

from pyspark.sql.types import StructType, StructField, IntegerType

# 手动定义Schema，field_b设为struct类型（内部可空或按需添加子字段）
custom_schema = StructType([
    StructField("field_a", IntegerType(), nullable=True),
    StructField("field_b", StructType([]), nullable=True)  # 空struct类型定义
])

# 读取JSON时指定自定义Schema
df = spark.read.option("multiline", "true")\
    .schema(custom_schema)\
    .json("your_file_path.json")

# 验证Schema
df.printSchema()

输出的Schema会明确包含field_b，类型为struct()。如果你的空结构体原本应该有子字段（只是某次数据为空），可以把StructType([])替换成包含对应子字段的结构体，比如StructType([StructField("sub_field", StringType(), nullable=True)])。

方案2：预处理JSON（适配自动推断场景）

如果不想手动编写Schema，可以先给JSON里的空结构体添加一个占位的null子字段，让Spark能推断出它是struct类型。比如把"field_b": {}修改为"field_b": {"temp_field": null}。

处理后用原逻辑读取：

df = spark.read.option("multiline", "true")\
    .option("dropFieldIfAllNull", "false")\
    .json("processed_file.json")

df.printSchema()

此时Spark会识别field_b为struct类型，包含一个可空的temp_field字段。

内容的提问来源于stack exchange，提问作者joluong