PySpark：将嵌套键值对数组列转换为结构化DataFrame

嘿，这事儿好办！我来给你两种方法搞定这个DataFrame的转换，一种是Spark 3.0+的简洁写法，另一种兼容低版本，任你选～

利用map_from_entries函数可以直接把嵌套的键值对数组转成Map类型，再提取对应列就行，代码超清爽：

from pyspark.sql import functions as F

# 你的原始DataFrame
new_df = spark.createDataFrame([
    ([['hello', 'productcode'], ['red','color']], 7),
    ([['hi', 'productcode'], ['blue', 'color']], 8),
    ([['hoi', 'productcode'], ['black','color']], 7)
], ["items", "frequency"])

# 核心转换逻辑
result_df = new_df.withColumn(
    "item_map",
    F.map_from_entries(F.col("items"))  # 把[[值, 键], ...]转成Map(键 -> 值)
).select(
    F.col("item_map.productcode").alias("productcode"),
    F.col("item_map.color").alias("color"),
    "frequency"
)

# 查看结果
result_df.show(truncate=False)

为啥这么写？ #

map_from_entries会自动把items里的每个子数组[value, key]转换成Map里的key: value键值对——正好和我们要的列名、值的对应关系匹配！比如['hello', 'productcode']就变成了productcode: hello，直接提取就行。

输出结果完美符合你的要求：

+-----------+-------+---------+
|productcode|color  |frequency|
+-----------+-------+---------+
|hello      |red    |7        |
|hi         |blue   |8        |
|hoi        |black  |7        |
+-----------+-------+---------+

如果你用的是Spark 3.0以下的版本，map_from_entries还没出，那就用展开+分组透视的方法：

from pyspark.sql import functions as F

result_df = new_df.withColumn("item", F.explode(F.col("items")))\
    .select(
        F.col("item")[1].alias("key"),  # 提取键（比如productcode、color）
        F.col("item")[0].alias("value"),  # 提取对应的值
        "frequency"
    )\
    .groupBy("frequency")\
    .pivot("key")\
    .agg(F.first("value"))\
    .select("productcode", "color", "frequency")  # 调整列顺序

result_df.show(truncate=False)

逻辑说明 #

1. 先用explode把items数组拆成每行一个键值对；
2. 把键和值分别拆成单独的列；
3. 按frequency分组，用pivot把键转成列名，再取对应的值；
4. 最后调整列顺序到你想要的结构。

内容的提问来源于stack exchange，提问作者user2805885