PySpark统一JSON格式：将异构JSON转为一致格式并通用解析

问题背景 #

加载两个格式不同的JSON后，PySpark DataFrame的核心差异在于ReplicateRequest.MappingReplicateRequestMessage字段：

• 一个是数组类型（df），需先执行explode才能访问深层字段
• 另一个是结构体类型（df1），可直接访问深层字段

我们需要将二者结构统一，实现通用解析逻辑，以下是两种可行方案：

方案一：将结构体转为数组（推荐） #

把df1中的结构体字段包装成单元素数组，和df的结构对齐，兼容后续可能出现多元素的场景。

代码实现 #

from pyspark.sql import functions as F

# 统一df1的结构：将结构体转为数组
df1_unified = df1.withColumn(
    "ReplicateRequest",
    F.struct(
        F.array(F.col("ReplicateRequest.MappingReplicateRequestMessage")).alias("MappingReplicateRequestMessage")
    )
)

通用解析逻辑 #

结构统一后，可直接复用df的解析代码处理两个DataFrame：

def parse_unified_request(df):
    return df.select("ReplicateRequest.*") \
             .withColumn("expl", F.explode(F.col("MappingReplicateRequestMessage"))) \
             .select("expl.*") \
             .select("MGroup.Object")

# 处理两个DataFrame
df_parsed = parse_unified_request(df)
df1_parsed = parse_unified_request(df1_unified)

方案二：将数组转为结构体（仅适用于固定单元素场景） #

如果能确保df中的MappingReplicateRequestMessage数组永远只有一个元素，可以将其转为结构体，和df1的结构对齐。

代码实现 #

from pyspark.sql import functions as F

# 统一df的结构：将数组转为结构体（取第一个元素）
df_unified = df.withColumn(
    "ReplicateRequest",
    F.struct(
        F.col("ReplicateRequest.MappingReplicateRequestMessage")[0].alias("MappingReplicateRequestMessage")
    )
)

通用解析逻辑 #

结构统一后，可直接复用df1的解析代码处理两个DataFrame：

def parse_unified_request(df):
    return df.select("ReplicateRequest.MappingReplicateRequestMessage.MGroup.*")

# 处理两个DataFrame
df_parsed = parse_unified_request(df_unified)
df1_parsed = parse_unified_request(df1)

方案选择建议 #

优先选择方案一，因为数组结构天然兼容0个、1个或多个MappingReplicateRequestMessage元素的场景；方案二仅适合业务逻辑明确数组长度固定为1的情况，否则会丢失数据。

内容的提问来源于stack exchange，提问作者Joe