PySpark简洁实现嵌套JSON扁平化 对标Pandas json_normalize效果

核心问题解答 #

1. PySpark能否实现和Pandas一致的嵌套JSON扁平化？ #

完全可以输出和Pandas json_normalize逻辑等价的结构化长表，且不需要冗长的多步操作。
你当前编写的代码存在两处明显问题：

• 实现思路冗余：先将summaries数组拆成year、rainfall两个平行等长数组，再通过arrays_zip合并、explode拆行，多了“拆数组、拼数组”两个无效步骤。
• 代码逻辑漏洞：第一次select操作取出的summaries.period.year、summaries.rainfall没有重命名为year和rainfall，后续arrays_zip("year", "rainfall")会因字段不存在直接运行报错。

2. 精简实现方案 #

PySpark处理这类嵌套结构的最优逻辑是从最外层嵌套字段逐层拆解，不提前拆分平行数组，代码实现如下（需提前导入pyspark.sql.functions as F、初始化Spark会话）：

# 直接从Python原生字典列表构建DataFrame，省去RDD中转读JSON的冗余步骤
df = spark.createDataFrame(my_data)

# 核心扁平化逻辑：explode最外层summaries数组，逐层提取嵌套字段
result = (df
          # 将summaries数组的每个元素转为独立行，临时命名为s
          .select("stationCode", F.explode("summaries").alias("s"))
          # 从拆解后的struct元素s中提取字段，列名和Pandas输出对齐
          .select("stationCode",
                  F.col("s.rainfall").alias("rainfall"),
                  F.col("s.period.year").alias("period.year"))
         )
result.show()

完全可以通过单条链式代码实现同等效果，无需拆分中间变量：

spark.createDataFrame(my_data).select("stationCode", F.explode("summaries").alias("s")).select("stationCode", "s.rainfall", F.col("s.period.year").alias("period.year")).show()

上述代码运行后，输出的长表结构、内容和Pandas实现的结果完全一致。

3. 入门阶段实用学习参考 #

• 嵌套数据处理的核心基础是掌握两类复杂类型的操作逻辑：
  • 数组类型（ArrayType）：最常用的操作包括explode（将数组元素拆为独立行）、arrays_zip（合并多个位置一一对应的等长数组为struct数组）、数组按位置取值。处理嵌套数组时，优先从最外层数组开始拆解，不要默认将嵌套结构拆为平行数组再处理。
  • 结构体类型（StructType）：嵌套字段可直接通过父字段.子字段的点路径取值，不需要额外解析操作。
• 学习时可和已掌握的Pandas逻辑做类比：Pandas的json_normalize会自动逐层拆平所有嵌套结构，而PySpark需要手动指定拆解层级，本质逻辑一致，但PySpark的拆解过程更灵活，可支撑超大规模数据集的处理。
• 熟悉PySpark的函数命名规律：所有内置函数基本和标准SQL逻辑对齐，比如数组类函数统一以array_开头、字符串正则类函数统一以regexp_开头，不需要零散记忆所有函数，遇到需求时顺着命名规则查找即可快速定位对应功能。

内容的提问来源于stack exchange，提问作者wwnde