求助：如何使用PySpark提取JSON文件中的container列

1. 先确认Schema与数据结构匹配 #

这是最容易踩坑的地方——你定义的Schema必须和containers字段的实际JSON结构完全对应，包括字段名大小写、数据类型、嵌套层级。

举个例子，如果你的JSON结构是这样的：

{
  "addressId": "ADDR_001",
  "containers": [
    {"containerId": "C001", "size": "LARGE"},
    {"containerId": "C002", "size": "SMALL"}
  ]
}

那对应的Schema要这么定义：

from pyspark.sql.types import StructType, StructField, StringType, ArrayType

# 定义单个container的结构
container_item_schema = StructType([
    StructField("containerId", StringType(), nullable=True),
    StructField("size", StringType(), nullable=True)
])

# 定义整个JSON的主结构
main_schema = StructType([
    StructField("addressId", StringType(), nullable=True),
    StructField("containers", ArrayType(container_item_schema), nullable=True)
])

2. 分场景处理提取逻辑 #

场景1：JSON是原生嵌套结构（每行一个对象） #

如果你的JSON文件是标准的嵌套格式，直接用指定Schema读取即可，不需要额外调用from_json：

# 读取JSON文件
df = spark.read.schema(main_schema).json("/your/json/file/path")

# 提取containers列，若要展开数组里的每个container，用explode
from pyspark.sql.functions import explode

# 展开后每行对应一个container，同时保留addressId
df_result = df.select("addressId", explode("containers").alias("container"))
df_result.show()

场景2：containers字段是JSON字符串类型 #

如果containers存储的是字符串格式的JSON（比如值是"[{\"containerId\":\"C001\"},...]"），才需要用from_json解析：

from pyspark.sql.functions import from_json

# 先读取原始数据
df_raw = spark.read.json("/your/json/file/path")

# 把字符串类型的containers解析成结构化数据
df_parsed = df_raw.select(
    "addressId",
    from_json("containers", ArrayType(container_item_schema)).alias("containers")
)

# 同样用explode展开提取单个container
df_result = df_parsed.select("addressId", explode("containers").alias("container"))
df_result.show()

3. 常见排查要点 #

• 检查Schema的字段名、数据类型是否和实际JSON完全一致（PySpark区分大小写）
• 确认JSON文件格式合法：要么是每行一个JSON对象（JSON Lines），要么是标准的JSON数组
• 如果是多层嵌套结构，Schema要逐层定义，不能跳过中间层级

内容的提问来源于stack exchange，提问作者chandra sekaran