在PySpark中将JSON的AdditionalFields解析为独立列

以下针对你遇到的additionalFields数组解析需求，提供两种常用工具的实现方案：

方案一：使用PySpark（大数据场景适用） #

步骤1：读取JSON并解析数组为Map类型 #

先将数组结构转换为键值对Map，再提取Map中的键作为列：

from pyspark.sql import functions as F

# 读取JSON文件
df = spark.read.json("path/to/your/json/file.json")

# 将additionalFields数组转换为Map（key=fieldName, value=fieldValue）
df = df.withColumn("fields_map", F.map_from_entries(F.col("additionalFields")))

步骤2：提取Map中的字段为独立列 #

静态字段（已知所有fieldName）

如果提前知道所有字段名，直接指定提取：

df = df.select(
    "*",
    "fields_map.customer_name",
    "fields_map.deviceid",
    "fields_map.txn_id",
    "fields_map.txn_date",
    "fields_map.orderid"
).drop("additionalFields", "fields_map")

动态字段（未知所有fieldName）

如果字段不固定，可自动收集所有字段名并生成列：

# 收集所有唯一的fieldName
field_names = df.select(F.explode(F.col("additionalFields.fieldName")).alias("name")).distinct().rdd.flatMap(lambda x: x).collect()

# 生成字段提取表达式
field_cols = [F.col("fields_map").getItem(name).alias(name) for name in field_names]

# 提取字段并清理临时列
df = df.select("*", *field_cols).drop("additionalFields", "fields_map")

方案二：使用Pandas（小数据量场景适用） #

直接将数组转换为字典后扩展为列：

import pandas as pd

# 读取JSON文件
df = pd.read_json("path/to/your/json/file.json")

# 将每个additionalFields数组转为字典，再扩展为列
df = df.join(
    df["additionalFields"].apply(lambda arr: pd.Series({item["fieldName"]: item["fieldValue"] for item in arr}))
).drop("additionalFields", axis=1)

执行后，你会得到customer_name、deviceid等独立列，对应值为各自的fieldValue，每条数据仅占一行。

内容的提问来源于stack exchange，提问作者ank1801