PySpark读取含空结构JSON时元素被忽略，如何获取正确Schema？

当PySpark自动推断JSON的Schema时，完全空的对象（{}）因为没有可推断的内部字段，会被直接忽略；而空数组（[]）能被识别为ArrayType，所以会被保留。要解决这个问题，核心是手动指定完整的Schema，强制保留所有需要的字段。

步骤1：定义自定义Schema #

根据你的JSON结构，明确每个字段的类型，包括空对象对应的StructType（即使内部暂时没有字段）。

示例代码：

from pyspark.sql.types import StructType, StructField, ArrayType, StringType

# 定义自定义Schema
custom_schema = StructType([
    # logs字段是字符串数组（可根据实际数据调整元素类型）
    StructField("logs", ArrayType(StringType()), nullable=True),
    # pagination字段是一个空结构体，保留该字段
    StructField("pagination", StructType([]), nullable=True)
])

如果你的pagination未来可能包含特定字段（比如page、total），可以提前定义这些字段的类型，这样即使当前是空对象，也能保留字段并兼容后续有数据的情况：

from pyspark.sql.types import StructType, StructField, ArrayType, StringType, IntegerType

# 定义pagination的结构
pagination_schema = StructType([
    StructField("page", IntegerType(), nullable=True),
    StructField("total", IntegerType(), nullable=True)
])

# 完整Schema
custom_schema = StructType([
    StructField("logs", ArrayType(StringType()), nullable=True),
    StructField("pagination", pagination_schema, nullable=True)
])

步骤2：使用自定义Schema读取JSON #

在spark.read.json()方法中指定schema参数，用自定义Schema替代自动推断：

df = spark.read.schema(custom_schema).json("/path/to/your/json/file.json")

验证结果 #

执行df.printSchema()，可以看到pagination字段已被正确保留：

root
 |-- logs: array (nullable = true)
 |    |-- element: string (containsNull = true)
 |-- pagination: struct (nullable = true)
 |    |-- page: integer (nullable = true)
 |    |-- total: integer (nullable = true)

替代方案：用样本数据生成Schema #

如果不想手动编写Schema，可以先读取一条包含非空pagination的样本数据，生成Schema后再用这个Schema读取所有数据：

# 读取含非空pagination的样本文件
sample_df = spark.read.json("/path/to/sample-with-non-empty-pagination.json")
# 获取样本Schema
sample_schema = sample_df.schema
# 用该Schema读取目标文件
df = spark.read.schema(sample_schema).json("/path/to/target/file.json")

内容的提问来源于stack exchange，提问作者Mahi