PySpark如何从自定义JSON文件生成Schema处理结构不一致的JSON数据

问题根因 #

你的代码和操作存在两个核心问题，直接触发了该报错：

• json.loads() 方法仅支持接收JSON格式字符串，不能直接传入文件路径。你需要先读取Schema文件的完整内容，再传入做解析
• 手动修改Schema JSON文件时，新增字段不符合Spark StructType要求的结构规范，缺少doc、pos必填元数据字段

正确操作步骤 #

1. 读取Schema JSON生成可用StructType对象 #

替换你原有的错误代码，使用如下写法：

import json
from pyspark.sql.types import StructType

# 直接读取文件对象解析JSON内容
with open("filepath/spark-schema.json", "r", encoding="utf-8") as f:
    schema_dict = json.load(f)

schemaFromJson = StructType.fromJson(schema_dict)

2. 手动修改Schema的规范要求 #

你手动补充缺失字段时，每个字段必须严格遵循Spark原生导出的Schema结构，包含以下4个必填属性：

• name: 字段名称
• type: 字段类型，基础类型直接写字符串如"string"/"long"，嵌套结构需按StructType格式编写
• nullable: 布尔值，需要自动填充null的字段必须设为true
• metadata: 字典结构，必须包含doc（字段说明，无特殊需求可留空）和pos（字段排序序号，不能重复）两个key

正确的新增字段示例：

{
  "name": "missing_field",
  "type": "string",
  "nullable": true,
  "metadata": {
    "doc": "",
    "pos": 8
  }
}

3. 用自定义Schema读取JSON数据 #

指定Schema读取数据时，缺失字段会自动填充为null：

df = spark.read.schema(schemaFromJson).json("your_json_data_path/")

注意事项 #

• 嵌套结构的子字段修改也需要遵循相同的StructType结构规范，不能仅修改外层字段
• 所有需要自动补全的字段必须设置nullable为true，否则读取时如果字段缺失会直接抛出异常
• 字段pos序号按实际字段顺序依次递增即可，不要出现重复值

内容的提问来源于stack exchange，提问作者Moritz