如何在PySpark/Spark SQL中解析含键值对的数组列并展开为独立字段

核心思路 #

根据提供的Schema，E1列是array<map<string,string>>类型，示例存储结构为外层单元素数组包裹包含a1、a2、a3三个键的Map集合，转换逻辑分三步：

• 提取E1数组首元素，得到存储所有键值对的Map对象
• 从Map中分别按键名a1、a2、a3提取对应值，生成三个独立列
• 保留原表A1、B1、C1、D1字段，和新生成的三个列拼接为最终结果集

注意：当前Schema中E1的元素已经是结构化Map类型，不需要额外针对"->"分隔符做字符串拆分，直接按Map键取值即可，性能和容错性优于字符串解析方案。

PySpark DataFrame API 实现 #

from pyspark.sql import functions as F

result_df = source_df.select(
    "A1",
    "B1",
    "C1",
    "D1",
    # Spark数组下标从1开始，取首元素后按key提取值，空值兜底
    F.coalesce(F.element_at(F.col("E1"), 1).getItem("a1"), F.lit(None)).alias("a1"),
    F.coalesce(F.element_at(F.col("E1"), 1).getItem("a2"), F.lit(None)).alias("a2"),
    F.coalesce(F.element_at(F.col("E1"), 1).getItem("a3"), F.lit(None)).alias("a3")
)

# 输出结果验证
result_df.printSchema()
result_df.show(truncate=False)

如果确认E1数组不存在空值、首元素一定包含所有目标键，可以去掉coalesce兜底逻辑简化代码。

Spark SQL 实现 #

首先将原DataFrame注册为临时视图：

source_df.createOrReplaceTempView("temp_source")

执行转换SQL：

SELECT
    A1,
    B1,
    C1,
    D1,
    -- 数组下标从1开始，取首元素后按key取值，ifnull做空值兜底
    ifnull(E1[1]['a1'], NULL) AS a1,
    ifnull(E1[1]['a2'], NULL) AS a2,
    ifnull(E1[1]['a3'], NULL) AS a3
FROM temp_source

特殊场景适配：如果E1数组中存储了多个Map元素、需要把所有Map的键都提取为列，可以先通过explode(E1)把数组炸开为多行Map，再按上述逻辑提取字段即可。

内容的提问来源于stack exchange，提问作者gkbig