访问嵌套JSON元素：如何拆分多层payments数组生成目标列DataFrame

之前使用explode未达预期的核心原因是未匹配嵌套字段的完整路径，导致定位不到目标数组、展开层级和目标要求不匹配，按以下步骤操作即可得到包含id、count、flowName、date、name、amount列的扁平化DataFrame：

• 操作路径逻辑：从根层级开始，先定位到report struct节点下的payments数组字段，对数组执行explode拆分为独立行，再将行内的struct字段展开为顶层列
• 字段操作适配：因为schema中payments为nullable属性，优先使用explode_outer替代原生explode，避免数组为null的行被直接丢弃，保证数据完整性
• struct展开技巧：无需逐字段写取值表达式，直接使用struct列.*语法即可一次性将struct下所有子字段拉到顶层，减少冗余代码

可直接运行的PySpark代码 #

from pyspark.sql.functions import explode_outer, col

# 单次操作无冗余中间列
flat_df = df.select(
    # 按完整嵌套路径定位payments数组，执行拆分
    explode_outer(col("report.payments")).alias("payment_item")
).select(
    # 展开拆分后的struct元素，自动生成全部目标列
    "payment_item.*"
)

常见操作避坑 #

• 嵌套字段必须使用完整层级路径引用：比如直接写col("payments")、col("id")会触发字段不存在报错，所有非根层级字段都需要从root开始写全路径
• 不要提前展开上层struct：如果先对report struct做顶层展开，会把payments数组提升为顶层列，后续虽然也能完成explode，但会生成无意义的冗余中间列

内容的提问来源于stack exchange，提问作者A.Webb